登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
轻量养虾，开箱即用！低 Token + 稳定算力，Gitee & 模力方舟联合出品的 PocketClaw 正式开售！点击了解详情~
代码拉取完成，页面将自动刷新
仓库状态说明
开源项目
>
人工智能
>
机器学习/深度学习
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
190
Star
1.1K
Fork
301
MindSpore
/
community
关闭
代码
Issues
519
Pull Requests
9
Wiki
统计
流水线
服务
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
开发画像分析
我知道了，不再自动展开
更新失败，请稍后重试！
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息，仓库外成员不可访问
【MindSpore开源实习】MoE（混合专家）中路由策略(hashing路由策略)实现
TODO
#I55XUW
Intern
jiahongqian
创建于
2022-05-05 20:58
【任务分值】 50分 【背景描述】 MoE（Mixture of Expert，混合专家）结构是扩展大模型参数量的主要手段。MoE中重要的组件是路由机制（gate），负责把token发送给各个专家。不同的路由机制有不同的通信开销和模型收敛效果。探索高效的路由机制有着重要意义。 【需求描述】 实现MoE中多种路由策略，如ntlb，hashing，optimal_transport等。 【环境要求】 硬件平台：GPU/昇腾 软件平台：MindSpore 【编程语言】 Python 【产出标准】 实现hashing路由策略，并验证正确性；通过Transformer MoE，集成到MindSpore中。 【PR提交地址】 https://gitee.com/mindspore/mindspore.git 【期望完成时间】 2022-8-31 【开发指导】 [1] https://github.com/tensorflow/mesh [2] https://github.com/tensorflow/lingvo [3] GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. https://arxiv.org/abs/2006.16668 [4] Scaling Vision with Sparse Mixture of Experts. https://arxiv.org/abs/2106.05974 【导师及邮箱】 wangshengnan12@huawei.com
【任务分值】 50分 【背景描述】 MoE（Mixture of Expert，混合专家）结构是扩展大模型参数量的主要手段。MoE中重要的组件是路由机制（gate），负责把token发送给各个专家。不同的路由机制有不同的通信开销和模型收敛效果。探索高效的路由机制有着重要意义。 【需求描述】 实现MoE中多种路由策略，如ntlb，hashing，optimal_transport等。 【环境要求】 硬件平台：GPU/昇腾 软件平台：MindSpore 【编程语言】 Python 【产出标准】 实现hashing路由策略，并验证正确性；通过Transformer MoE，集成到MindSpore中。 【PR提交地址】 https://gitee.com/mindspore/mindspore.git 【期望完成时间】 2022-8-31 【开发指导】 [1] https://github.com/tensorflow/mesh [2] https://github.com/tensorflow/lingvo [3] GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. https://arxiv.org/abs/2006.16668 [4] Scaling Vision with Sparse Mixture of Experts. https://arxiv.org/abs/2106.05974 【导师及邮箱】 wangshengnan12@huawei.com
评论 (
35
)
登录
后才可以发表评论
状态
TODO
TODO
ACCEPTED
WIP
VALIDATION
DONE
CLOSED
REJECTED
负责人
未设置
jiahongqian
jiahongqian
负责人
协作者
+负责人
+协作者
杨宇澄
yang-yucheng03
负责人
协作者
+负责人
+协作者
标签
未设置
项目
未立项任务
未立项任务
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (
-
)
标签 (
-
)
开始日期 - 截止日期
-
置顶选项
不置顶
置顶等级：高
置顶等级：中
置顶等级：低
优先级
不指定
严重
主要
次要
不重要
预计工期
（小时）
参与者（7）
1
https://gitee.com/mindspore/community.git
git@gitee.com:mindspore/community.git
mindspore
community
community
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号，请先登录后再操作。
立即登录
没有帐号，去注册
