qwen2.5-vl-7b内存占用过大导致训练失败

###  ** 现象描述：** 
1、训练过程中内存占用非常多，显存占用很少，换数据会出现内存不足，导致训练失败，这是怎么回事呢：
2、另外训练速度好像也不是特别快没有达到readme里面写的14samples/s，我这边训练下来只有1.9sample/s：
### **内存占用** 
![内存占用](https://foruda.gitee.com/images/1750842259570484162/76e3344f_5318508.png "屏幕截图")
###  **显存占用：** 
+------------------------------------------------------------------------------------------------+
| npu-smi 23.0.5                   Version: 23.0.5                                               |
+---------------------------+---------------+----------------------------------------------------+
| NPU   Name                | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
| Chip                      | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
+===========================+===============+====================================================+
| 0     910B1               | OK            | 147.4       52                0    / 0             |
| 0                         | 0000:C1:00.0  | 27          0    / 0          25845/ 65536         |
+===========================+===============+====================================================+
| 1     910B1               | OK            | 130.5       51                0    / 0             |
| 0                         | 0000:01:00.0  | 26          0    / 0          29448/ 65536         |
+===========================+===============+====================================================+
| 2     910B1               | OK            | 120.8       50                0    / 0             |
| 0                         | 0000:C2:00.0  | 0           0    / 0          44248/ 65536         |
+===========================+===============+====================================================+
| 3     910B1               | OK            | 130.9       52                0    / 0             |
| 0                         | 0000:02:00.0  | 0           0    / 0          43905/ 65536         |
+===========================+===============+====================================================+
| 4     910B1               | OK            | 110.7       51                0    / 0             |
| 0                         | 0000:81:00.0  | 0           0    / 0          40319/ 65536         |
+===========================+===============+====================================================+
| 5     910B1               | OK            | 108.6       52                0    / 0             |
| 0                         | 0000:41:00.0  | 0           0    / 0          40540/ 65536         |
+===========================+===============+====================================================+
| 6     910B1               | OK            | 96.6        51                0    / 0             |
| 0                         | 0000:82:00.0  | 0           0    / 0          64669/ 65536         |
+===========================+===============+====================================================+
| 7     910B1               | OK            | 106.4       50                0    / 0             |
| 0                         | 0000:42:00.0  | 0           0    / 0          65133/ 65536         |
+===========================+===============+====================================================+
###  **训练速度：** 
📊 Performance Summary
----------------------------
Average Step Time (ms): 98808.8
Samples per Second: 1.94315
Average Tokens per Sample: 937.271
Tokens per Second: 1821.26

Ascend/MindSpeed-MM
暂停

内容风险标识

评论 (4)

Ascend/MindSpeed-MM暂停 .gitee-modal { width: 500px !important; }

内容风险标识