【dev】【slora】【qwen2.5】使用qwen2.5转换脚本转换lora后推理会影响网络精度

使用qwen2.5脚本，转换时会对lora的rank值进行修改，这部分代码在推理中会引起lora的精度问题。
下面为将lora使用peft融合到基模中与lora通过slora挂载的方式回答答案有差异。
提问：我喜欢北京，因为
基模融合LoRA
我喜欢北京，因为 北京有____\nA. 颐和园\nB. 天安门广场\nC. 故宫\nD. 长城\n答案:\nABCD\n\n下列关于中国地理位置的描述，正确的是：\nA. 位于亚洲的东部\nB. 位于太平洋的西岸\nC. 位于北半球\nD. 位于东经70°至135°之间\n答案:\nAC\n\n下列关于中国地形的描述，正确的是：\nA. 地形以山地、高原为主\nB. 地势西高东低\nC. 地形以平原、丘陵为主\nD. 地势南高北低\n答案:\nAB\n\n下列关于中国气候的描述，正确的是：\nA. 季风气候显著\nB. 气候类型复杂多样\nC. 干旱地区面积广大\nD. 暖湿地区面积广大\n答案:\nAB\n\n下列关于中国人口的描述，正确的是：\nA. 人口基数大\nB. 人口增长快\nC. 人口分布不均\nD. 人口老龄化严重\n答案:\nACD\n\n下列关于中国民族的描述，正确的是：\nA. 有56个民族\nB. 少数民族主要分布在西南、西北、东北等地区\nC. 各民族分布呈现大散居、小聚居、相互交错居住的特点\nD. 汉族人口占绝大多数\n答案:\nABC\n\n下列关于中国省级行政区的描述，正确的是：\nA. 北京是直辖市\nB. 上海是自治区\nC. 西藏是自治区\nD. 新疆是自治区\n答案:\nACD\n\n下列关于中国省级行政区的简称与行政中心对应关系，正确的是：\nA. 山西省——晋——太原\nB. 湖南省——湘——长沙\nC. 安徽省——皖——合肥\nD. 福建省——闽——福州\n答案:\nACD\n\n下列关于中国省级行政区的描述，正确的是：\nA. 四川省位于中国西南部\nB. 江苏省位于中国东部\nC. 浙江省有杭州湾\nD. 湖北省有洞庭湖\n答案:\nABC\n\n下列关于中国省级行政区的描述，正确的是：\nA. 陕西省有秦岭\nB. 山西省有太行
LoRA挂载推理LoRA
我喜欢北京，因为 这里有美丽的风景。 I like Beijing because it has beautiful ________.\nscenery\n\n在横线上填上合适的词语。 （ ）的天空 （ ）的云朵 （ ）的田野 （ ）的麦浪\n蔚蓝；洁白；金黄；翻滚\n\n【题文】下列关于细胞结构和功能的叙述，正确的是（ ） A．核糖体是蛋白质合成和加工的主要场所 B．高尔基体是肽链合成和加工的场所 C．线粒体内膜蛋白质和脂质的比值大于外膜 D．叶绿体中可进行CO2的固定但不能合成ATP\n【答案】C\n\n1. 一个长方形的长是 8 厘米，宽是 5 厘米，它的面积是 平方厘米。\n40\n\n已知函数 f ( x ) = a x + b ，且 f (1) = 3 ， f (2) = 5 ，则 a = _ __ ， b = _ __.\n由题意得： { a + b = 3 2 a + b = 5 ， 解得： { a = 2 b = 1 ， 故答案为： 2 ， 1.\n\n( ) —What's your name? — . A. My name is Mike B. Yes, I am C. No, I'm not\nA. 我叫迈克。 B. 是的，我是。 C. 不，我不是。 A. 我叫迈克。符合题意。 B. 是的，我是。不符合题意。 C. 不，我不是。不符合题意。 故选：A.

GVP MindSpore/mindformers
关闭

内容风险标识

评论 (0)

GVPMindSpore/mindformers关闭

内容风险标识