add custom grouped_matmul ops, with internal & swft backend realization · Pull Request !73 · MindSpore/ms_custom_ops

**What type of PR is this?**

/kind feature

---

**What does this PR do / why do we need it**:

# 新增 grouped_matmul 和 grouped_matmul_w4 算子（基于 Internal 实现）

## 概述

本次 PR 新增了分组矩阵乘法算子 `grouped_matmul`（A16W16, A8W8） 和 `grouped_matmul_w4`（A8W4），该算子基于 MindSpore Internal 框架实现，支持在 Ascend 芯片上进行高效的分组矩阵乘法计算。

**算子详情请参考**: `ops/c_api/grouped_matmul/grouped_matmul.md` 和 `ops/c_api/grouped_matmul/grouped_matmul_w4.md`

该文档包含完整的算子行为描述、输入输出参数说明、数据类型和 shape 支持、计算公式、约束说明、使用示例等内容。

## 实现细节

### Graph Mode 实现
- 使用 `CustomGroupedMatmulOpFuncImpl` 实现 shape 和 type 推导
- 使用 `CustomGroupedMatmul` 继承 `InternalKernelMod` 创建内部算子

### PyBoost Mode 实现
- 使用 `GroupedMatmulRunner` 继承 `InternalPyboostRunner`

### Internal Helper 支持
- 在 `internal_helper.cc` 中添加了 `kNumberTypeInt4` 到 `internal_v2::DataType::kTypeInt4` 的类型映射，以支持 int4 量化权重的数据类型转换
- 在 `internal_kernel_mod.cc` 中添加对 `kernel_inputs_index_` 和 `kernel_outputs_index_` 中不在inputs范围中的索引，针对 `CreateInternalKernel` （算子初始化）、 `Resize` （更新Shape）、 `UpdateAddr` （launch前更新地址）进行处理，避免访问越界的段错误。

### 特殊注意
grouped_matmul_w4的internal后端在input[2]位置需要一个None类型的scale，因此在custom输入转换到internal输入时，使用 `kGMMW4UnusedScale` 作为占位索引，给internal输入的对应位置填充一个None输入。

## 用法（以golden-stick修改方式为例）

### Init阶段

```python
# before
from mindspore.ops.auto_generate import GroupedMatmulV4Transpose
self.gmm = GroupedMatmulV4Transpose()
# after
import ms_custom_ops
self.gmm = ms_custom_ops.grouped_matmul()  # A8W8
self.gmm = ms_custom_ops.grouped_matmul_w4()  # A8W4
```

### Construct阶段：

A8W8 perrtoken场景

```python
# before
        if self.is_group_mm:
            if not self.is_310p:
                ...
            else:
                group_list = msops.cast(group_list, dtype=dtype.int32)
                output = self.qbmm([qx], [quant_weight], None, [self.weight_scale], None, None, None, [x_scale],
                                   group_list, split_item=3, group_type=0, group_list_type=0, act_type=0,
                                   transpose_a=False, transpose_b=True)[0]
# after
        if self.is_group_mm:
            if not self.is_310p:
                ,..
            else:
                group_list = msops.cast(group_list, dtype=dtype.int32)
                output = self.qbmm(qx, quant_weight, group_list, bias=None, scale=self.weight_scale,
                                   per_token_scale=x_scale, antiquant_scale=None,
                                   transpose_a=False, transpose_b=True)
```

**A8W4场景：**

```python
# before
        if self.is_group_mm:
            if not self.is_310p:
                ...
            else:
                group_list = msops.cast(group_list, dtype=dtype.int32)
                output = self.gmm([qx], [quant_weight], None, [self.gmm_bias], None, [self.weight_scale], None,
                                  [x_scale], group_list, split_item=3, group_type=0, group_list_type=0, act_type=1,
                                  transpose_a=False, transpose_b=True)[0]
# after
        if self.is_group_mm:
            if not self.is_310p:
                ...
            else:
                group_list = msops.cast(group_list, dtype=dtype.int32)
                output = self.gmm(qx, quant_weight, group_list, self.gmm_bias, x_scale, self.weight_scale)
```

## TODO

- [ ] 完善 int4 量化场景的计算公式

---

**Which issue(s) this PR fixes**:

Fixes #ID2NM1

---

**Test Plan and Test result：What scenarios were tested, and what were the verification results（Function, performance, reliability, etc.）**：

## 测试覆盖

### 测试场景
1. **基础功能测试**
   - FP16 非量化场景（internal后端实现）
   - int8 per-channel 量化场景（internal后端实现）
   - int8 per-token 量化场景（internal后端实现）
   - int4 量化场景（SWFT）

2. **参数组合测试**
   - 带/不带 bias
   - 带/不带 per_token_scale
   - transpose_a/transpose_b 组合

3. **执行模式测试**
   - Graph Mode
   - PyNative Mode

4. **性能测试**
   - 真实 MoE 场景 shape 测试
   - Profiling 支持

---

**Self-checklist**:（**请自检，在[ ]内打上x，我们将检视你的完成情况，否则会导致pr无法合入**）

+ - [x] **设计**：PR对应的方案是否已经经过Maintainer评审，方案检视意见是否均已答复并完成方案修改
+ - [x] **测试**：PR中的代码是否已有UT/ST测试用例进行充分的覆盖，新增测试用例是否随本PR一并上库或已经上库
+ - [x] **验证**：PR描述信息中是否已包含对该PR对应的Feature、Refactor、Bugfix的预期目标达成情况的详细验证结果描述
+ - [x] **接口**：是否涉及对外接口变更，相应变更已得到接口评审组织的通过，API对应的注释信息已经刷新正确
+ - [x] **文档**：是否涉及官网文档修改，如果涉及请及时提交资料到Doc仓

MindSpore/ms_custom_ops .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore/ms_custom_ops