【feature】【dev】增加MLA实现以及测试用例 · Pull Request !6267 · MindSpore/mindformers

1. 增加MLA实现以及测试用例
---
### PR来源
- [ ] issue单（请关联issue）
- [x] 需求特性
- [ ] 问题单
- [ ] 其他（社区开发者等）

### 修改描述（做了什么，变更了什么）
- **修改原因：**
增加MLA测试用例
- **修改内容：**
增加MLA测试用例
### 功能验证

|并行策略|compute_dtype|param_init_dtype|q_lora_rank|q_layernorm|k_layernorm|期望结果
|-------|-------------|----------------|-----------|-----------|-----------|-------|
|单卡|bf16|fp32|16|Norm|Norm|功能跑通，精度对齐。|
|单卡|bf16|fp32|None|Norm|Norm|功能跑通，精度对齐。|
|单卡|bf16|fp32|16|None|Norm|功能跑通，精度对齐。|
|单卡|bf16|fp32|16|Norm|None|功能跑通，精度对齐。|
|四卡dp+tp并行|bf16|fp32|16|Norm|Norm|功能跑通，精度对齐。|

单卡用例mindspeed结构与megatron结构各测试一遍，多卡用例两个结构结果自洽，全部测试通过

![输入图片说明](https://foruda.gitee.com/images/1748002100082700838/f4d6f5a5_14446083.png "屏幕截图")

### check list
- [ ] **是否经过代码检视**
- [ ] **是否具备UT测试用例看护**（如不符合，请说明原因：____________________）
- [ ] **是否涉及对外接口变更**（若涉及则完成变更说明）
- [ ] **是否涉及公共组件或对外接口修改，涉及时需给出修改范围和影响评估**（请详细描述）

### 代码检视
- **要求：**
    - 合入代码超过1000行，需组织会议检视并附上检视结论
    - 无功能验证不允许合入
    - 自检项未完成，不允许合入
    - 无UT看护，原则上不允许合入，需单独说明原因
    - 来源未标识，修改描述不清晰，不允许合入

### 变更说明
- [ ] **资料修改**
- [ ] **变更通知（原有接口变动时涉及，版本接口公告）：**

GVPMindSpore / mindformers关闭

搜索帮助

GVP MindSpore / mindformers
关闭