登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
登录
注册
就在本周六,成都站 Gitee Talk | 模力方舟 AI 应用开发沙龙抢占最后席位!聚焦 AI 开发全链路,结识技术同频人~
代码拉取完成,页面将自动刷新
开源项目
>
人工智能
>
AI-人工智能
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
100
Star
1.3K
Fork
917
GVP
MindSpore
/
mindformers
代码
Issues
102
Pull Requests
139
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
【自提单】【dev】【mcore】mcore新接口deepseek3整网问题
DONE
#ICDSVA
Question
魏琢艺
创建于
2025-06-09 20:44
<!-- Welcome to ask questions and discuss with other members in MindSpore community --> 1. MTP block需要同步向共享embedding块传入position_embedding_type,否则默认值learned_absolute下开启mtp层时,不传入position_ids会报错  2. mtp用例未设置position_embedding_type=learned_absolute,而是使用了默认值rope  3. EOD RESET功能实现不全,yarn rotary未适配,普通rotary未适配shard 4. ApplyRotaryPosEmb中对eod reset的shard配置有误  5. 负载均衡回调函数打印值不具备实际意义,因为expert_load.sum()一定为1  6. Dropout暂不支持pp并行,需要可通过设置prob=0进行规避,否则会导致训练报错 
<!-- Welcome to ask questions and discuss with other members in MindSpore community --> 1. MTP block需要同步向共享embedding块传入position_embedding_type,否则默认值learned_absolute下开启mtp层时,不传入position_ids会报错  2. mtp用例未设置position_embedding_type=learned_absolute,而是使用了默认值rope  3. EOD RESET功能实现不全,yarn rotary未适配,普通rotary未适配shard 4. ApplyRotaryPosEmb中对eod reset的shard配置有误  5. 负载均衡回调函数打印值不具备实际意义,因为expert_load.sum()一定为1  6. Dropout暂不支持pp并行,需要可通过设置prob=0进行规避,否则会导致训练报错 
评论 (
0
)
登录
后才可以发表评论
状态
DONE
TODO
ACCEPTED
WIP
VALIDATION
DONE
CLOSED
REJECTED
负责人
未设置
标签
未设置
项目
未立项任务
未立项任务
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (38)
标签 (22)
master
r1.7.0-beta3
r1.6.0
br_feature_infer
r1.7.0-beta1
br_infer_boom
revert-3cfdd0a
dev
br_infer_deepseek_os
r1.5.0
br_feature_checkpoint
br_feature_infer_300iduo
br_feature_mcore
r1.6.0-beta1
br_infer_deepseek_ep
br_feature_rl_dpo
r1.3.0
r1.3.1
r1.4.0-beta2
r1.4.0-beta1
r1.5.0-beta1
r1.2.0
r1.1.0
r1.1.0-infer
r1.1.rc1
r1.0
kbk-infer
r1.0.a
r0.8
r0.7
r0.6.1_demo
r0.6
0.6rc1
r0.3
r0.2
v0.1.2
v0.1.1
v0.1.0
v1.7.0-beta3
v1.7.0-beta2
v1.6.0
v1.6.0-beta1
v1.5.0
v1.5.0-beta2
v1.5.0-beta1
v1.4.0-beta2
v1.3.2
v1.3.1-beta1
v1.4.0-beta1
v1.3.0
v1.2.0
v1.1.0
v1.0.2
v1.0.1
v1.0.0
v0.6.0
v0.3
v0.2_rc
v0.1.1
v0.1.0
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
预计工期
(小时)
参与者(1)
Python
1
https://gitee.com/mindspore/mindformers.git
git@gitee.com:mindspore/mindformers.git
mindspore
mindformers
mindformers
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册