登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
【大赛通知】开源中国「2026北京开源行业解决方案创新赛」火热报名中,百万奖池等你的项目
代码拉取完成,页面将自动刷新
仓库状态说明
开源项目
>
人工智能
>
AI-人工智能
&&
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
108
Star
1.4K
Fork
984
GVP
MindSpore
/
mindformers
关闭
代码
Issues
159
Pull Requests
100
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
开发画像分析
我知道了,不再自动展开
3831
【dev】混合长序列并行方案
已合并
lzy0920232:mix_cp
MindSpore:dev
lzy0920232
创建于 2024-08-26 16:12
克隆/下载
HTTPS
SSH
复制
下载 Email Patch
下载 Diff 文件
### 相关的Issue ### 原因(目的、解决的问题等) 适配混合长序列并行方案 ### 描述(做了什么,变更了什么) 添加混合序列并行开关和方案校验 ### check list #### 是否完成方案评审或问题根因分析(Y/N) #### 是否完成了功能模块的UT/ST,并执行通过,附上结果(Y) llama3-8b,wiki103数据集,128k序列长度,dp1mp1cp8;分别 启用colossalAI-sp序列并行和混合序列并行,比较loss拟合,验证算法等价性   llama3-8b,wiki103数据集,128k序列长度,dp1mp8cp2;分别 启用ulysses序列并行和混合序列并行,比较loss拟合,验证算法等价性   #### 是否涉及公共组件或对外接口修改,涉及时需给出修改范围和影响评估(Y) TransformerOpParallelConfig类 新增context_parallel_algo和ulysses_degree_in_cp参数配置;在context_parallel>1和FlashAttention时生效。 | 参数 | 默认值 | 描述 | 数据类型 | 备注 | |-----------------------|---------------|---------|------|-----------------------| | context_parallel_algo | "colossai_cp" | 序列并行 | Enum |序列并行算法类型枚举类ClassContextParallAlgo(Enum): colossalai_cp:"colossalai_cp",ulysses_cp:"ulysses_cp",hybird_cp:"hybird_cp"| | ulysses_degree_in_cp | 1 | 开启hybird_cp开关时生效,ulysses切分的份数,需要满足能被context_parallel参数整除条件 | int | | 参数 默认值 描述 数据类型 context_parallel_algo "colossalai_cp" 序列并行的算法类型,支持以下: colossalai_cp:仅使用colossal ai序列并行算法; ulysses_cp:仅使用ulysses算法; Enum #### 是否涉及资料修改,涉及时需同步修改(Y)
此 Pull Request 需要通过一些审核项
类型
指派人员
状态
审查
guoqi
suhaibo
niyuxin94520
jiahongqian
Lin
huangxinliang
森镇
zyw_hw
husichao
已完成
(0/0人)
怎样手动合并此 Pull Request
git checkout dev
git pull https://gitee.com/lzy0920232/mindformers.git mix_cp
git push origin dev
评论
15
提交
1
文件
1
检查
代码问题
0
批量操作
展开设置
折叠设置
审查
Code Owner
审查人员
melody
cmy_melody
fft1374
fft1374
hsshuai
hss-shuai
wangjialin
wjlflyer
zyw_hw
zyw-hw
Xinrui Chen
chenrayray
jinyidou
jinyidou
yanghaoran
nicholas_yhr
Lin
Lin-Bert
suhaibo
suhaibo
zhulinhong
zhulinhong
AtlasAccount
atlasaccount
hpp034
hpp034
i-robot
I-am-a-robot
openLiBing-bot
openLiBing-bot
guoqi
guoqi1024
niyuxin94520
ntuxianyu
jiahongqian
jiahongqian
huangxinliang
xinlianglalala
森镇
senzhen-town
husichao
husichao
未设置
最少人数
0
测试
melody
cmy_melody
fft1374
fft1374
hsshuai
hss-shuai
wangjialin
wjlflyer
zyw_hw
zyw-hw
Xinrui Chen
chenrayray
jinyidou
jinyidou
yanghaoran
nicholas_yhr
Lin
Lin-Bert
suhaibo
suhaibo
zhulinhong
zhulinhong
AtlasAccount
atlasaccount
hpp034
hpp034
i-robot
I-am-a-robot
openLiBing-bot
openLiBing-bot
未设置
最少人数
0
优先级
不指定
严重
主要
次要
不重要
标签
approved
lgtm
mindspore-cla/yes
ci-pipeline-failed
关联 Issue
未关联
里程碑
未关联里程碑
ZR-NEIYUAN
1.6.0
MindFormersTest
参与者
(6)
Python
1
https://gitee.com/mindspore/mindformers.git
git@gitee.com:mindspore/mindformers.git
mindspore
mindformers
mindformers
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册