【ICT BG】 qwen_3_30b_a3b_moe_2507后Lora参数合并问题

之前在ISSUE https://gitee.com/ascend/MindSpeed-LLM/issues/ICWAPX#note_46309912 中提问了qwen_3_30b_a3b_moe_2507的Lora参数问题，脚本跑通但是模型生成观测舒服感觉存在问题，因此想问一下：

观察到输出日志中会出现：
> building GPT model ...
> building GPT model ...
> trainable params: 81,199,104 || all params: 4,245,933,056 || trainable%: 1.9123971793492167
>  loading checkpoint from /data2/models/qwen-3/Qwen3-30B-A3B-Instruct-2507-mcore at iteration 1
>  loading checkpoint from /data2/checkpoints/qwen_3_30b_a3b_moe_mcore at iteration 700
> could not find arguments in the checkpoint ...
>  checkpoint version 3.0
>   successfully loaded checkpoint from /data2/models/qwen-3/Qwen3-30B-A3B-Instruct-2507-mcore [ t 0, p 0 ] at iteration 0
> building GPT model ...
> trainable params: 81,199,104 || all params: 4,245,933,056 || trainable%: 1.9123971793492167
>

中会说：could not find arguments in the checkpoint ...，不知是否会有影响，我测试了一下最终的结果
发现模型会一直生成感叹号不会有文本生成，感觉权重转换还是有问题，以下是我现在的参数，麻烦帮忙看一下有没有使用的问题：

```bash
source /usr/local/Ascend/ascend-toolkit/set_env.sh

python convert_ckpt.py \
    --use-mcore-models \
    --model-type GPT \
    --load-model-type mg \
    --save-model-type hf \
    --target-tensor-parallel-size 1 \
    --target-pipeline-parallel-size 1 \
    --target-expert-parallel-size 1 \
    --lora-r 16 \
    --lora-alpha 32 \
    --lora-target-modules linear_qkv linear_proj linear_fc1 linear_fc2 \
    --spec mindspeed_llm.tasks.models.spec.qwen3_spec layer_spec \
    --load-dir /data2/models/qwen-3/Qwen3-30B-A3B-Instruct-2507-mcore \
    --lora-load /data2/checkpoints/qwen_3_30b_a3b_moe_mcore \
    --save-dir /data2/models/qwen-3/Qwen3-30B-A3B-Instruct-2507 \
    --params-dtype bf16 \
    --model-type-hf qwen3-moe
```

其中：
1. /data2/models/qwen-3/Qwen3-30B-A3B-Instruct-2507-mcore 是通过ckpt_convert_qwen3_moe_hf2mcore.sh脚本转换为mcore格式的路径

2. /data2/checkpoints/qwen_3_30b_a3b_moe_mcore 是通过tune_qwen3_30b_a3b_4K_lora_ptd.sh LoRA训完的模型保存参数地址

3. /data2/models/qwen-3/Qwen3-30B-A3B-Instruct-2507 是hf原始模型参数的地址，最终的参数保存在了该地址的mg2hf文件夹下，测试也是用的这个mg2hf文件夹中的参数

Ascend/MindSpeed-LLM
暂停

内容风险标识

评论 (1)

Ascend/MindSpeed-LLM暂停 .gitee-modal { width: 500px !important; }

内容风险标识