登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
6 月10 日(下周三晚 19:00)直播预告:龙虾还活着吗?来看 PocketClaw 上市两个月后对 AI 硬件的真实复盘,点击预约,开播有提醒~
代码拉取完成,页面将自动刷新
仓库状态说明
开源项目
>
人工智能
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
205
Star
1.3K
Fork
1.2K
Ascend
/
MindSpeed-LLM
暂停
代码
Issues
3
Pull Requests
32
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
开发画像分析
我知道了,不再自动展开
1498
lora与重计算适配
已合并
DONGHAORAN:master
Ascend:master
DONGHAORAN
创建于 2024-08-10 17:05
克隆/下载
HTTPS
SSH
复制
下载 Email Patch
下载 Diff 文件
错误现象:lora微调开启重计算时,无法走到重计算的反向 原因:megatron的重计算的最基本单位是ParallelTransformerLayer,重计算反向时需要拿到这个类外层的梯度函数作为反向的入口。 但是,lora采用的peft模块会冻结ParallelAttention(在ParallelTransformerLayer内层)之前的所有权重。 解决方法:该pr通过使能VocabParallelEmbedding层的梯度函数使得lora微调能进入重计算反向。  性能测试: | 单机单卡 llama2-7b 32层 | memory GB | time second iter | |---|---|---| | lora 开全层重计算 | 21.7 | 39 | | lora 不开重计算 | 39.7 | 28 |
此 Pull Request 需要通过一些审核项
类型
指派人员
状态
审查
王姜奔
fengliangjun
已完成
(0/0人)
怎样手动合并此 Pull Request
git checkout master
git pull https://gitee.com/dhrhank/ModelLink.git master
git push origin master
评论
25
提交
3
文件
1
检查
代码问题
0
批量操作
展开设置
折叠设置
审查
Code Owner
审查人员
guoxinjie
guo-xinjie-1
shenjiarun
shenjiarun
RuanZhiXiang
RyanAlexander
jzh
jzh6229
jwhk
qu-yueze
fengliangjun
fengliangjun66
王姜奔
wangjiangben_hw
AtlasAccount
atlasaccount
LeiZhenzhen
leizhenzhen
HuaweiAscend
HUAWEI-ASCEND_admin
i-robot
I-am-a-robot
shaoyf
shaoyf
未设置
最少人数
0
测试
guoxinjie
guo-xinjie-1
shenjiarun
shenjiarun
RuanZhiXiang
RyanAlexander
jzh
jzh6229
jwhk
qu-yueze
fengliangjun
fengliangjun66
王姜奔
wangjiangben_hw
AtlasAccount
atlasaccount
LeiZhenzhen
leizhenzhen
HuaweiAscend
HUAWEI-ASCEND_admin
i-robot
I-am-a-robot
shaoyf
shaoyf
未设置
最少人数
0
优先级
不指定
严重
主要
次要
不重要
标签
ci-pipeline-passed
ascend-cla/yes
lgtm
approved
关联 Issue
未关联
Pull Request 合并后将关闭上述关联 Issue
里程碑
未关联里程碑
参与者
(9)
Python
1
https://gitee.com/ascend/MindSpeed-LLM.git
git@gitee.com:ascend/MindSpeed-LLM.git
ascend
MindSpeed-LLM
MindSpeed-LLM
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册