代码拉取完成，页面将自动刷新
同步操作将从 Ascend/MindSpeed-LLM 强制同步，此操作会覆盖自 Fork 仓库以来所做的任何修改，且无法恢复！！！
确定后同步将在后台操作，完成时将刷新页面，请耐心等待。
MindSpeed-LLM 支持 Huggingface、Megatron-Legacy 以及 Megatron-Core 之间的权重格式互转，具体功能列表如下:
| 源格式 | 目标格式 | 支持特性 | 特性入参 |
|---|---|---|---|
| HuggingFace | Megatron-Legacy | 张量并行 | --target-tensor-parallel-size |
| 流水并行 | --target-pipeline-parallel-size | ||
| 流水并行动态划分 | --num-layer-list | ||
| 虚拟流水并行 | --num-layers-per-virtual-pipeline-stage | ||
| Megatron-Core | 张量并行 | --target-tensor-parallel-size | |
| 流水并行 | --target-pipeline-parallel-size | ||
| 流水并行动态划分 | --num-layer-list | ||
| 虚拟流水并行 | --num-layers-per-virtual-pipeline-stage | ||
| 专家并行 | --target-expert-model-parallel-size | ||
| Megatron-Legacy | Huggingface | 张量并行 | --target-tensor-parallel-size |
| 流水并行 | --target-pipeline-parallel-size | ||
| LoRA训练模块 | --lora-target-modules | ||
| LoRA权重 | --lora-load | ||
| LoRA r | --lora-r | ||
| LoRA alpa | --lora-alpha | ||
| Megatron-Core | 张量并行 | --target-tensor-parallel-size | |
| 流水并行 | --target-pipeline-parallel-size | ||
| 流水并行动态划分 | --num-layer-list | ||
| 虚拟流水并行 | --num-layers-per-virtual-pipeline-stage | ||
| Megatron-Legacy | 张量并行 | --target-tensor-parallel-size | |
| 流水并行 | --target-pipeline-parallel-size | ||
| LoRA训练模块 | --lora-target-modules | ||
| LoRA权重 | --lora-load | ||
| LoRA r | --lora-r | ||
| LoRA alpa | --lora-alpha | ||
| Megatron-Core | Huggingface | 张量并行 | --target-tensor-parallel-size |
| 流水并行 | --target-pipeline-parallel-size | ||
| Megatron-Legacy | 张量并行 | --target-tensor-parallel-size | |
| 流水并行 | --target-pipeline-parallel-size | ||
| 流水并行动态划分 | --num-layer-list | ||
| 虚拟流水并行 | --num-layers-per-virtual-pipeline-stage | ||
| Megatron-Core | 张量并行 | --target-tensor-parallel-size | |
| 流水并行 | --target-pipeline-parallel-size | ||
| 专家并行 | --target-expert-model-parallel-size | ||
| 流水并行动态划分 | --num-layer-list | ||
| 虚拟流水并行 | --num-layers-per-virtual-pipeline-stage |
具体的权重转换功能命令介绍见 MindSpeed-LLM 大模型使用指南权重下载及转换章节.
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
马建仓 AI 助手