代码拉取完成,页面将自动刷新
ConvertWeight支持对torch权重和mindspore权重的格式互转
name | |
---|---|
llama | llama |
glm | glm |
glm-n | glm2、glm3 |
qwen | qwen |
internlm | internlm |
baichuan | baichuan、baichuan2 |
gpt | gpt2 |
bloom | bloom |
wizardcoder | wizardcoder |
skywork | skywork |
mixtral | mixtral |
脚本:
根目录下convert_weight.py
主要参数;
args | required | |
---|---|---|
model | 模型名称 | 是 |
reversed | mindspore格式转torch格式 | 否 |
input_path | 输入权重文件路径,如果模型存在多个权重文件,选择模型目录下其中一个即可,根据目录自动加载全部权重 | 是 |
output_path | 输出权重文件路径 | 是 |
dtype | 输出的权重数据类型,默认为原始权重数据类型 | 否 |
n_head | bloom权重转换所需额外参数,根据bloom模型实际情况配置 | 否 |
hidden_size | bloom权重转换所需额外参数,根据bloom模型实际情况配置 | 否 |
layers | gpt2和wizardcoder的torch权重转mindspore权重时所需的额外参数,转换的权重层数 | 否 |
is_pretrain | swin权重转换所需额外参数,输入权重是否为预训练权重 | 否 |
执行:
python convert_weight.py --model model_name --inpurt_path ./hf/input.bin --output_path ./ms/output.ckpt --otherargs
python convert_weight.py --model model_name --inpurt_path ./ms/output.ckpt --output_path ./hf/input.bin --reversed --otherargs
# Example for llama:
# python convert_weight.py --model llama --input_path open_llama_7b.ckpt --output_path llama_7b.bin --reversed
convert_weight.py
及convert_reversed.py
文件,input_path
、output_path
、dtype
及额外参数**kwargs
convert_weight.py
文件中的convert_map和reversed_convert_map字典中加入扩展模型名称及转换函数引入路径parser.add_argument('--arg_name',default=,type=,required=,help=)
新增此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。