[Refactor]refactor llama native model · Pull Request !511 · MindSpore/vllm-mindspore

重构了llama原生模型。

---
<!--  Thanks for sending a pull request!  Here are some tips for you:

1) If this is your first time, please read our contributor guidelines: https://gitee.com/mindspore/mindspore/blob/master/CONTRIBUTING.md

2) If you want to contribute your code but don't know who will review and merge, please add label `mindspore-assistant` to the pull request, we will find and do it as soon as possible.
-->

**What type of PR is this?**

/kind refactor

**What does this PR do / why do we need it**:
1. 重构了llama 原生模型， 一份代码可同时支持llama2、llama3模型。（已验证llama2-7b/13b、 llama3.1-8B/70B, llama3.2-1B）
2. 为适配llama模型， 修改了rope中的部分内容。

llama3-8B 单卡性能 192bs input 256， output 256：
graph：3125 tokens/s @ 57ms
pynative: 2547 tokens/s @ 70ms

精度：（开启默认后处理参数）
graph ： gsm8k：77.79% , ceval: 54.75%
pynative: gsm8k 77.71% ,  ceval: 54.38%

**Which issue(s) this PR fixes**:

Fixes #ICB1V2

**Code review checklist [【代码检视checklist说明】](https://gitee.com/mindspore/community/blob/master/security/code_review_checklist_mechanism.md)**:

+ - [ ] 是否进行返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值，C++标准库函数确认无问题可以屏蔽)
+ - [ ] 是否遵守 ***SOLID原则 / 迪米特法则***
+ - [ ] 是否具备UT测试用例看护 && 测试用例为有效用例 (若新特性无测试用例看护请说明原因)
+ - [ ] 是否为对外接口变更
+ - [ ] 是否涉及官网文档修改

类型	指派人员	状态
审查	TronZhang	已完成 (0/0人)
测试	TronZhang	已完成 (0/0人)

MindSpore/vllm-mindspore .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore/vllm-mindspore