登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
轻量养虾，开箱即用！低 Token + 稳定算力，Gitee & 模力方舟联合出品的 PocketClaw 正式开售！点击了解详情
代码拉取完成，页面将自动刷新
仓库状态说明
开源项目
>
人工智能
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
205
Star
1.3K
Fork
1.2K
Ascend
/
MindSpeed-LLM
暂停
代码
Issues
3
Pull Requests
32
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了，不再自动展开
更新失败，请稍后重试！
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息，仓库外成员不可访问
【联通】deepseekV3 使用gemm参数后，lora微调后推理结果混乱
DONE
#IBOK8R
缺陷
lhzhe
创建于
2025-02-24 20:54
一、问题现象（附报错日志上下文）： 使用master仓库中完全原始脚本完成权重转换 -> alpaca lora微调 -> lora generate流程后，chat出现回答混乱问题，定位后发现由于官方脚本在版本更新过程中，权重转换convert.py部分加入了group-gemm参数，其会导致模型结构与不带此参数的权重产生差异，层名也不同，而： 1、lora微调并未适配此参数，且脚本、Readme中并未声明 2、lora微调脚本中也无此参数 3、使用不带gemm参数的lora微调脚本，加载带有gemm参数转换后的权重启动任务时， **不会报错有缺失层** ， **而是会随机初始化不存在的层** 目前修改参数权重转换后重新进行训练，结果恢复正常    二、软件版本: 不涉及 三、测试步骤： 不涉及 四、日志信息: 不涉及
一、问题现象（附报错日志上下文）： 使用master仓库中完全原始脚本完成权重转换 -> alpaca lora微调 -> lora generate流程后，chat出现回答混乱问题，定位后发现由于官方脚本在版本更新过程中，权重转换convert.py部分加入了group-gemm参数，其会导致模型结构与不带此参数的权重产生差异，层名也不同，而： 1、lora微调并未适配此参数，且脚本、Readme中并未声明 2、lora微调脚本中也无此参数 3、使用不带gemm参数的lora微调脚本，加载带有gemm参数转换后的权重启动任务时， **不会报错有缺失层** ， **而是会随机初始化不存在的层** 目前修改参数权重转换后重新进行训练，结果恢复正常    二、软件版本: 不涉及 三、测试步骤： 不涉及 四、日志信息: 不涉及
评论 (
1
)
登录
后才可以发表评论
状态
DONE
TODO
WIP
DONE
CLOSED
REJECTED
负责人
未设置
标签
未设置
项目
未立项任务
未立项任务
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (
-
)
标签 (
-
)
开始日期 - 截止日期
-
置顶选项
不置顶
置顶等级：高
置顶等级：中
置顶等级：低
优先级
不指定
严重
主要
次要
不重要
预计工期
（小时）
参与者（2）
Python
1
https://gitee.com/ascend/MindSpeed-LLM.git
git@gitee.com:ascend/MindSpeed-LLM.git
ascend
MindSpeed-LLM
MindSpeed-LLM
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号，请先登录后再操作。
立即登录
没有帐号，去注册
