Please assign maintainer to check this issue.
请为此issue分配处理人。
@Lin

感谢您的提问，您可以评论//mindspore-assistant更快获取帮助：

1. 如果您刚刚接触MindSpore，或许您可以在教程找到答案
2. 如果您是资深Pytorch用户，您或许需要：

• 与PyTorch典型区别：
• PyTorch与MindSpore API映射表

3. 如果您遇到动态图问题，可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
4. 模型精度调优问题可参考官网调优指南
5. 如果您反馈的是框架BUG，请确认您在ISSUE中提供了MindSpore版本、使用的后端类型（CPU、GPU、Ascend）、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
6. 如果您已经定位出问题根因，欢迎提交PR参与MindSpore开源社区，我们会尽快review

补充说明：

开启双动态后导出mindir，然后运行推理时出现错误：

[ERROR] OP(3125924,python):2024-03-18-19:17:51.692.655 [selection_ops.cc:1171][OP_PROTO][GatherV2InferShape][3127658] OpName:[Default/Gather-op3187] "batch_dims must be less than rank(params)1

报错出现得较早，还没有走到编译prompt_kv_cache等算子那个环节。

不开启双动态没有这个错误。

用 mindspore_lite 2.2.12和2.2.13均有这个问题。但 2.2.11.20240123 则没有这个错误，能够正常跑通双动态推理

加了reshape后没问题

核查模型网络代码后发现是隐藏层之后的rms_norm忘记reshape了，加了reshape之后可以正常跑通，已在mindspore_lite 2.2.13上验证过了。单子可以驳回。

核查模型网络代码后发现是隐藏层之后的rms_norm忘记reshape了，加了reshape之后可以正常跑通，已在mindspore_lite 2.2.13上验证过了。单子可以驳回。

@Yang Guilong 关联合入的修复PR