MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计,具备如下特点:
如果您对MindSpore Transformers有任何建议,请通过issue与我们联系,我们将及时处理。
目前支持的模型列表如下:
模型 | model name |
---|---|
LLama2 | llama2_7b, llama2_13b, llama2_7b_lora, llama2_13b_lora, llama2_70b |
LLama3 | llama3_8b |
GLM2 | glm2_6b, glm2_6b_lora |
GLM3 | glm3_6b, glm3_6b_lora |
GPT2 | gpt2, gpt2_13b |
Baichuan2 | baichuan2_7b, baichuan2_13b, baichuan2_7b_lora, baichuan2_13b_lora |
Qwen | qwen_7b, qwen_14b, qwen_7b_lora, qwen_14b_lora |
Qwen1.5 | qwen1.5-14b, qwen1.5-72b |
CodeGeex2 | codegeex2_6b |
CodeLlama | codellama_34b |
DeepSeek | deepseek-coder-33b-instruct |
Internlm | internlm_7b, internlm_20b, internlm_7b_lora |
Mixtral | mixtral-8x7b |
Wizardcoder | wizardcoder_15b |
Yi | yi_6b, yi_34b |
支持源码编译安装,用户可以执行下述的命令进行包的安装。
git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh
当前支持的硬件为Atlas 800T A2训练服务器。
当前套件建议使用的Python版本为3.9。
MindFormers | MindPet | MindSpore | CANN | 驱动固件 | 镜像链接 | 备注 |
---|---|---|---|---|---|---|
r1.1.0 | 1.0.4 | 2.3.0rc2 | 8.0.RC1.beta1: aarch64 x86_64 |
driver | image | 版本分支 |
当前MindFormers仅支持如上的软件配套关系。其中CANN和固件驱动的安装需与使用的机器匹配,请注意识别机器型号,选择对应架构的版本。
MindFormers套件对外提供两种使用和开发形式,为开发者提供灵活且简洁的使用方式和高阶开发接口。
用户可以直接clone整个仓库,按照以下步骤即可运行套件中已支持的任意configs
模型任务配置文件,方便用户快速进行使用和开发:
目前msrun方式启动不支持指定device_id启动,msrun命令会按当前节点所有显卡顺序设置rank_id。
参数说明
参数 | 单机是否必选 | 多机是否必选 | 默认值 | 说明 |
---|---|---|---|---|
WORKER_NUM | √ | √ | 8 | 所有节点中使用计算卡的总数 |
LOCAL_WORKER | × | √ | 8 | 当前节点中使用计算卡的数量 |
MASTER_ADDR | × | √ | 127.0.0.1 | 指定分布式启动主节点的ip |
MASTER_PORT | × | √ | 8118 | 指定分布式启动绑定的端口号 |
NODE_RANK | × | √ | 0 | 指定当前节点的rank id |
LOG_DIR | × | √ | output/msrun_log | 日志输出路径,若不存在则递归创建 |
JOIN | × | √ | False | 是否等待所有分布式进程退出 |
CLUSTER_TIME_OUT | × | √ | 600 | 分布式启动的等待时间,单位为秒 |
# 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}"
# 单机多卡快速启动方式,仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" WORKER_NUM
# 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT
使用示例
# 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune"
# 单机多卡快速启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune" 8
# 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune" \
8 8118 output/msrun_log False 300
多机多卡执行脚本进行分布式训练需要分别在不同节点运行脚本,并将参数MASTER_ADDR设置为主节点的ip地址, 所有节点设置的ip地址相同,不同节点之间仅参数NODE_RANK不同。
# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT
使用示例
# 节点0,节点ip为192.168.1.1,作为主节点,总共8卡且每个节点4卡
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
8 4 192.168.1.1 8118 0 output/msrun_log False 300
# 节点1,节点ip为192.168.1.2,节点0与节点1启动命令仅参数NODE_RANK不同
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
8 4 192.168.1.1 8118 1 output/msrun_log False 300
通过统一接口启动,根据模型的config配置,完成任意模型的单卡训练、微调、评估、推理流程。
# 训练启动,run_mode支持train、finetune、eval、predict四个关键字,以分别完成模型训练、评估、推理功能,默认使用配置文件中的run_mode
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}
详细高阶API使用教程请参考:MindFormers大模型使用教程
准备工作
step 1:安装mindformers
具体安装请参考第二章。
step2: 准备数据
准备相应任务的数据集,请参考docs
目录下各模型的README.md文档准备相应数据集。
Trainer 快速入门
用户可以通过以上方式安装mindformers库,然后利用Trainer高阶接口执行模型任务的训练、微调、评估、推理功能。
# 以gpt2模型为例
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers import Trainer
# 初始化预训练任务
trainer = Trainer(task='text_generation',
model='gpt2',
train_dataset='path/to/train_dataset',
eval_dataset='path/to/eval_dataset')
# 开启预训练
trainer.train()
# 开启全量微调
trainer.finetune()
# 开启评测
trainer.evaluate()
# 开启推理
predict_result = trainer.predict(input_data="An increasing sequence: one,", do_sample=False, max_length=20)
print(predict_result)
# output result is: [{'text_generation_text': ['An increasing sequence: one, two, three, four, five, six, seven, eight,']}]
# Lora微调
trainer = Trainer(task="text_generation", model="gpt2", pet_method="lora",
train_dataset="path/to/train_dataset")
trainer.finetune(finetune_checkpoint="gpt2")
pipeline 快速入门
MindFormers套件为用户提供了已集成模型的pipeline推理接口,方便用户体验大模型推理服务。
pipeline使用样例如下:
# 以gpt2 small为例
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers.pipeline import pipeline
pipeline_task = pipeline(task="text_generation", model="gpt2")
pipeline_result = pipeline_task("An increasing sequence: one,", do_sample=False, max_length=20)
print(pipeline_result)
结果打印示例(已集成的gpt2模型权重推理结果):
[{'text_generation_text': ['An increasing sequence: one, two, three, four, five, six, seven, eight,']}]
AutoClass 快速入门
MindFormers套件为用户提供了高阶AutoClass类,包含AutoConfig、AutoModel、AutoProcessor、AutoTokenizer四类,方便开发者进行调用。
AutoConfig获取已支持的任意模型配置
from mindformers import AutoConfig
# 获取gpt2的模型配置
gpt2_config = AutoConfig.from_pretrained('gpt2')
# 获取vit_base_p16的模型配置
vit_base_p16_config = AutoConfig.from_pretrained('vit_base_p16')
AutoModel获取已支持的网络模型
from mindformers import AutoModel
# 利用from_pretrained功能实现模型的实例化(默认加载对应权重)
gpt2 = AutoModel.from_pretrained('gpt2')
# 利用from_config功能实现模型的实例化(默认加载对应权重)
gpt2_config = AutoConfig.from_pretrained('gpt2')
gpt2 = AutoModel.from_config(gpt2_config)
# 利用save_pretrained功能保存模型对应配置
gpt2.save_pretrained('./gpt2', save_name='gpt2')
AutoProcessor获取已支持的预处理方法
from mindformers import AutoProcessor
# 通过模型名关键字获取对应模型预处理过程(实例化gpt2的预处理过程,通常用于Trainer/pipeline推理入参)
gpt2_processor_a = AutoProcessor.from_pretrained('gpt2')
# 通过yaml文件获取相应的预处理过程
gpt2_processor_b = AutoProcessor.from_pretrained('configs/gpt2/run_gpt2.yaml')
AutoTokenizer获取已支持的tokenizer方法
from mindformers import AutoTokenizer
# 通过模型名关键字获取对应模型预处理过程(实例化gpt2的tokenizer,通常用于Trainer/pipeline推理入参)
gpt2_tokenizer = AutoTokenizer.from_pretrained('gpt2')
欢迎参与社区贡献,可参考MindSpore贡献要求Contributor Wiki。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
1. 开源生态
2. 协作、人、软件
3. 评估模型