add the case need_flatten == false for prefill · Pull Request !7028 · MindSpore/mindformers

1. add the case need_flatten == false for prefill
---
### PR来源
- [√] issue单（请关联issue）
#ICSPN9 
- [ ] 需求特性
- [ ] 问题单
- [ ] 其他（社区开发者等）

### 修改描述（做了什么，变更了什么）
- **修改原因：**
https://gitee.com/mindspore/mindformers/pulls/6974 合入时，针对prefill阶段直接都进行了拉平，未考虑未拉平的情况，但mindie情况下未拉平，导致报错。
- **修改内容：**
对batch_valid_length添加need_flatten的判断，同时对prefill阶段的input_ids增加need_flatten判断（decode阶段再上个pr已有need_flatten的判断）。

### 功能验证
- [ ] **功能自验**
- [ ] **本地自验用例截图**
curl -H "Accept: application/json" -H "Content-type: applicurl -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '
{
"model": "qwen", "messages": [{"role": "user", "content": "请为我制定一份去北京旅游的攻略"}]
}' http://127.0.0.1:1025/v1/chat/completions

{"id":"endpoint_common_1","object":"chat.completion","created":1755155415,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","tool_calls":null,"content":"当然可以，以下是一份去北京旅游的攻略：\n\n第一天：抵达北京\n\n- 抵达首都国际机场或北京南站后，前往酒店休息。\n- 晚上可去王府井大街逛逛，体验一下北京的夜生活。\n\n第二天：故宫、天安门广场\n\n- 早上游览天安门广场，参观人民英雄纪念碑、毛主席纪念堂等。\n- 下午游览故宫博物院，了解中国悠久的历史文化。\n- 晚上可以去南锣鼓巷品尝当地美食。\n\n第三天：颐和园、圆明园\n\n- 上午游览颐和园，欣赏昆明湖、万寿山等美景。\n- 下午游览圆明园遗址公园，感受历史沧桑。\n- 傍晚时分可以在颐和园附近的酒吧街喝一杯，放松心情。\n\n第四天：长城\n\n- 早上乘坐大巴前往八达岭长城，徒步攀登长城，领略壮丽景色。\n- 下午返回市区，在鸟巢水立方附近拍照留念。\n\n第五天：798艺术区、三里屯\n\n- 上午参观798艺术区，感受现代与传统的碰撞。\n- 下午前往三里屯太古里逛街购物，体验时尚潮流。\n- 晚上在三里屯酒吧街享受欢乐时光。\n\n第六天：国家博物馆、北海公园\n\n- 上午参观国家博物馆，了解中国近现代史。\n- 下午游览北海公园，欣赏琼华岛、白塔等景点。\n- 傍晚可在什刹海畔散步，品尝老北京小吃。\n\n第七天：返回\n\n- 根据返程时间安排，提前前往机场或车站，结束愉快的旅程。\n\n注意事项：\n1. 提前预订门票及交通工具票务；\n2. 注意防晒防寒，根据季节选择合适的着装；\n3. 尽量避开节假日高峰期出行；\n4. 谨慎保管个人财物，注意安全。"},"logprobs":null,"finish_reason":"stop"}],"usage":{"prompt_tokens":29,"completion_tokens":401,"total_tokens":430},"prefill_time":44,"decode_time_arr":[30,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,28,29,2
### check list
- [ ] **是否经过代码检视**
- [ ] **是否具备UT测试用例看护**（如不符合，请说明原因：____________________）
- [ ] **是否涉及对外接口变更**（若涉及则完成变更说明）
- [ ] **是否涉及公共组件或对外接口修改，涉及时需给出修改范围和影响评估**（请详细描述）

### 代码检视
- **要求：**
    - 合入代码超过1000行，需组织会议检视并附上检视结论
    - 无功能验证不允许合入
    - 自检项未完成，不允许合入
    - 无UT看护，原则上不允许合入，需单独说明原因
    - 来源未标识，修改描述不清晰，不允许合入

### 变更说明
- [ ] **资料修改**
- [ ] **变更通知（原有接口变动时涉及，版本接口公告）：**

GVPMindSpore/mindformers关闭

搜索帮助

GVP MindSpore/mindformers
关闭