【feature】【master】增加训练前向进行推理功能 · Pull Request !7601 · MindSpore/mindformers

1. add support for predicting with train model
---
### PR来源
- [ ] issue单（请关联issue）
- [x] 需求特性
- [ ] 问题单
- [ ] 其他（社区开发者等）

### 修改描述（做了什么，变更了什么）
- **修改原因：**

1. 新增训练模型支持前向推理

- **修改内容：**

1. 新增`run_mode=predict_with_train_model`，适配各种校验，并使该模式在trainer中走`predict_process`流程；
2. parallel_core中model_mix对`TrainModelMix`新增`is_train_model`属性，用于在generate流程中判断是否是训练模型，新增对GPTModel的`prepare_inputs_for_predict_layout`方法
3. `generate`方法中，新增是否是train_model判断，并适配对应流程；

### 功能验证
- [x] **功能自验**

#### 加载HF权重进行推理

**Qwen3-0.6B 单卡推理**

**Qwen3-0.6B 4卡推理（切tp）**

```bash
bash scripts/msrun_launcher.sh "python run_mindformer.py --config configs/qwen3/finetune_qwen3.yaml --predict_data '<|im_start|>system\nYou are Qwen3-0.6B.<|im_end|>\n<|im_start|>user\n我想要去北京旅游，请详细介绍一下北京<|im_end|>\n<|im_start|>assistant\n' --use_parallel True --pretrained_model_dir /
home/xxx/model/Qwen3-0.6B/ --run_mode predict_with_train_model --parallel_config.model_parallel 4 --parallel_config.data_parallel 1 --parallel_config.pipeline_stage 1 --parallel.full_batch True --train_precision_sync True" 4
```

![输入图片说明](https://foruda.gitee.com/images/1762849133331015235/41b94c93_13037104.png "屏幕截图")

#### 加载训练保存权重进行推理

1. 单机8卡加载HF权重进行训练，修改config/qwen3/finetune_qwen3.yaml配置文件中为
```
lr_schedule：
  learning_rate: 0

parallel_config:
  data_parallel: 2
  model_parallel: 2
  pipeline_stage: 2

callbacks:
  - type: CheckpointMonitor  # Saves model weights during training
    prefix: "qwen3"  # Prefix for saved file names
    save_checkpoint_steps: 5  # Interval steps for saving model weights
    keep_checkpoint_max: 1  # Maximum number of saved model weight files
    checkpoint_format: "safetensors"  # Format for saving checkpoints
  - type: TrainCallBack
    stop_step: 5 # 在训练5个step之后训练提前中止
```
执行下述训练命令

``` bash
bash scripts/msrun_launcher.sh "python run_mindformer.py --config configs/qwen3/finetune_qwen3.yaml ---use_parallel True --pretrained_model_dir /home/xxx/model/Qwen3-0.6B/ --run_mode finetune"
```
该步骤获取一份MF训练格式的HF权重（加载HF权重，lr=0，权重未更新），训练完成后得到分布式权重`/home/xxx/train_output/checkpoint`及分布式策略`/home/xxx/train_output/strategy`(手动移动到train_output文件夹）

2. 单机4卡加载训练保存权重，`run_mode=predict_with_train_model`进行训练前向推理

```bash
 bash scripts/msrun_launcher.sh "python run_mindformer.py --config configs/qwen3/finetune_qwen3.yaml 
   --predict_data '<|im_start|>system\nYou are Qwen3-0.6B.<|im_end|>\n<|im_start|>user\n我想要去北京旅游，请详细介绍一下北京<|im_end|>\n<|im_start|>assistant\n'
    --use_parallel True
    --pretrained_model_dir /home/xxx/model/Qwen3-0.6B/
    --run_mode predict_with_train_model
    --parallel_config.model_parallel 4
    --parallel_config.data_parallel 1
    --parallel_config.pipeline_stage 1
    --parallel.full_batch True
    --load_checkpoint /home/xxx/train_output/checkpoint
    --src_strategy_path_or_dir /home/xxx/train_output/strategy
    --auto_trans_ckpt True
    --train_precision_sync True" 4
```
![输入图片说明](https://foruda.gitee.com/images/1762848131183520354/2168ac55_13037104.png "屏幕截图")

- [ ] **本地自验用例截图**

### check list
- [ ] **是否经过代码检视**
- [ ] **是否具备UT测试用例看护**（如不符合，请说明原因：____________________）
- [ ] **是否涉及对外接口变更**（若涉及则完成变更说明）
- [ ] **是否涉及公共组件或对外接口修改，涉及时需给出修改范围和影响评估**（请详细描述）
- [安全编码checklist](https://gitee.com/mindspore/mindformers/wikis/%E5%AE%89%E5%85%A8%E7%BC%96%E7%A0%81%E6%A3%80%E8%A7%86)
    - [ ] 通过
    - [ ] 不通过
    - 网络红线：通信矩阵 | 全0监听 | 未公开接口 | 未公开公网地址
    - 隐私数据：个人姓名、工号等
    - 不安全函数： eval/pickle/yaml的使用 | subprocess.run和os.system的使用
    - 文件校验：文件权限 | 临时文件保存 | 路径校验

### 代码检视
- **要求：**
    - 合入代码超过1000行，需组织会议检视并附上检视结论
    - 无功能验证不允许合入
    - 自检项未完成，不允许合入
    - 无UT看护，原则上不允许合入，需单独说明原因
    - 来源未标识，修改描述不清晰，不允许合入

### 变更说明
- [ ] **资料修改**
- [ ] **变更通知（原有接口变动时涉及，版本接口公告）：**

GVPMindSpore/mindformers关闭

搜索帮助

GVP MindSpore/mindformers
关闭