【FEAT】add glm4 and glm41v · Pull Request !1274 · MindSpore/vllm-mindspore

add glm4 and glm41v
---
<!--  Thanks for sending a pull request!  Here are some tips for you:

1) If this is your first time, please read our contributor guidelines: https://gitee.com/mindspore/mindspore/blob/master/CONTRIBUTING.md

2) If you want to contribute your code but don't know who will review and merge, please add label `mindspore-assistant` to the pull request, we will find and do it as soon as possible.
-->

**What type of PR is this?**

/kind feature

---

**What does this PR do / why do we need it**:

在此行填写本 PR 的概要（中/英均可）。Please write the summary here.

1. 增加了 glm4 和 glm4_1v 两个模型。
2. mrope部分进行了微重构， 支持多种rope算子。 310p 下新增对ms_custom_ops.apply_rotary_pos_emb_ms的支持。
3. 对llama模型进行了适配， 使其与社区的最新写法保持一致。 同时，由于glm4继承llama， 也能使其写法与社区保持一致。

**Which issue(s) this PR fixes**:

Fixes #ID2HJZ

---

**Test Plan and Test result：What scenarios were tested, and what were the verification results（Function, performance, reliability, etc.）**：

在此行填写测试计划与结果要点（可用清单列出）。Please list the test plan and results here.

---glm4 gsm8k bf16精度：
![输入图片说明](https://foruda.gitee.com/images/1764757023167320647/2cc08ed8_10828347.png "屏幕截图")

---glm4.1v
910b 上textvqa bf16精度：
![输入图片说明](https://foruda.gitee.com/images/1764754763843942159/a7d818c6_10828347.png "屏幕截图")

310p 上textvqa fp16精度：
![输入图片说明](https://foruda.gitee.com/images/1764664460412482966/e6d9b30a_10828347.png "屏幕截图")

**Self-checklist**:（**请自检，在[ ]内打上x代表已确认完成，我们将检视你的完成情况，否则会导致pr无法合入**）

+ - [x] **设计**：PR对应的方案是否已经经过Maintainer评审，方案检视意见是否均已答复并完成方案修改
+ - [x] **测试**：PR中的代码是否已有UT/ST测试用例进行充分的覆盖，新增测试用例是否随本PR一并上库或已经上库
+ - [x] **验证**：PR描述信息中是否已包含对该PR对应的Feature、Refactor、Bugfix的预期目标达成情况的详细验证结果描述
+ - [x] **接口**：是否涉及对外接口变更，相应变更已得到接口评审组织的通过，API对应的注释信息已经刷新正确
+ - [x] **文档**：是否涉及官网文档修改，如果涉及请及时提交资料到Doc仓

MindSpore/vllm-mindspore关闭 .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore/vllm-mindspore
关闭