910B mindformers1.5.0 qwen2.5_1.5B推理乱码，输出结果全出现!

软件版本
| python | mindformers | mindspore |
|--------|-------------|-----------|
| 3.10   | 1.5.0       | 2.6.0rc1  |

使用load_ckpt_format: 'safetensors',对模型进行训练,训练脚本如下

bash scripts/msrun_launcher.sh "run_qwen2_5.py \
            --config qwen2_5_1_5_sft.yaml \
            --load_checkpoint ${load_checkpoint} \
            --epochs ${epochs} \
            --batch_size ${batch_size} \
            --train_data $data_convert/qa.mindrecord \
            --vocab_file $load_checkpoint/vocab.json \
            --merges_file $load_checkpoint/merges.txt \
            --run_mode finetune \
            --use_parallel True " 8 8 $MASTER_IP $MASTER_PORT $RANK $workdir/output-sft/msrun_log True 300 &

将生成的权重合并,合并脚本如下

python toolkit/safetensors/unified_safetensors.py --src_strategy_dirs $modelSaved/strategy --mindspore_ckpt_dir $modelSaved/checkpoint_network --output_dir $modelSaved/merge --file_suffix "${target_step}_${target_epoch}" --has_redundancy True

对合并脚本进行推理,推理脚本如下

python run_qwen2_5.py --config qwen2_5_1_5_predict.yaml --run_mode predict --load_checkpoint ${predict_path}  --auto_trans_ckpt False --vocab_file $load_checkpoint/vocab.json --merges_file $load_checkpoint/merges.txt --dataset_path $eval_dataset/format --workspace_path $workdir

由于代码仓中并未提供qwen2.5-1.5B的推理yaml文件,这次使用的qwen2_5_1_5_predict.yaml文件是根据qwen2.5-7b的推理yaml文件修改的
![推理结果](https://foruda.gitee.com/images/1749609950191491885/fb75afd4_11185239.png "屏幕截图")
根据之前其他用过提到过的qwen2-1.5B遇到类似问题的解决办法,添加环境变量export MS_INTERNAL_DISABLE_CUSTOM_KERNEL_LIST=PagedAttention,FlashAttentionScore后仍存在问题

GVP MindSpore/mindformers

内容风险标识

评论 (3)

GVPMindSpore/mindformers

内容风险标识