# MindSpeed-MM **Repository Path**: mazhuang_1004/MindSpeed-MM ## Basic Information - **Project Name**: MindSpeed-MM - **Description**: 华为昇腾面向大规模分布式训练的多模态大模型套件，支撑多模态生成、多模态理解。 - **Primary Language**: Unknown - **License**: MIT - **Default Branch**: master - **Homepage**: https://gitee.com/ascend/MindSpeed-MM - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 242 - **Created**: 2025-07-11 - **Last Updated**: 2025-12-17 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README

Badge Documentation

# 简介 --- MindSpeed MM：面向大规模分布式训练的昇腾多模态大模型套件，支持业界主流多模态大模型训练，旨在为华为 [昇腾芯片](https://www.hiAscend.com/) 提供端到端的多模态训练解决方案, 包含预置业界主流模型，数据工程，分布式训练及加速，预训练、微调、后训练、在线推理任务等特性。 # 未来规划 --- 📅未来规划会动态刷新在[MindSpeed MM RoadMap](https://gitcode.com/Ascend/MindSpeed-MM/issues/176)中，欢迎大家通过此链接进行互动并提出诉求 # 加入我们 --- 为了交流开发经验、分享使用心得、及时获取项目更新，我们创建了MindSpeed MM官方微信群。 无论你是正在使用这个项目，还是有奇思妙想，都欢迎加入👋

# 最新消息 --- * [Dec. 03, 2025]: 🚀 MindSpeed MM基于FSDP2支持Glm4.5v模型训练demo【Prototype】 * [Dec. 02, 2025]: 🚀 MindSpeed MM支持Self-Forcing基于Wan2.1-1.3B的DMD蒸馏 【Prototype】 * [Nov. 27, 2025]: 🚀 MindSpeed MM基于fully shard支持Qwen3VL-235B模型 * [Nov. 20, 2025]: 🚀 MindSpeed MM基于FSDP2支持Qwen3-Omni模型 * [Nov. 19, 2025]: 🚀 MindSpeed MM支持Qwen Image、Qwen Image Edit模型 【Prototype】 * [Nov. 13, 2025]: 🚀 MindSpeed MM基于FSDP2支持InternVL3.5-30B模型 * [Nov. 06, 2025]: 🚀 MindSpeed MM基于FSDP2支持DeepseekOCR模型训练demo【Prototype】 * [Oct. 31, 2025]: 🚀 MindSpeed MM基于fully shard支持Qwen3VL-8B/30B模型 * [Oct. 22, 2025]: 🚀 MindSpeed MM基于fully shard支持Wan2.2系列模型 * [Sep. 08, 2025]: 🚀 MindSpeed MM支持FLUX.1-Kontext模型 * [Aug. 15, 2025]: 🤝 MindSpeed MM**原生支持**Lumina-mGPT 2.0模型 * [Jul. 29, 2025]: 🌴 MindSpeed MM支持core 0.12.1版本 * [Jul. 10, 2025]: 🚀 MindSpeed MM支持InternVL3-8B/78B模型 * **[Jul. 03, 2025]: 🎉 强化学习上线！ MindSpeed MM支持Qwen2.5VL 7B/32B [GRPO训练](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/examples/verl_examples/qwen2.5vl/README.md)** * [Jul. 02, 2025]: ⚡ MindSpeed MM **0Day**支持GLM-4.1V模型 * [Jun. 30, 2025]: 🌴 MindSpeed MM版本2.1.0发布 * [Jun. 25, 2025]: 🚀 MindSpeed MM支持HiDream-I1模型 * [Jun. 05, 2025]: 🚀 MindSpeed MM支持Qwen2.5Omni-7B模型 * [Jun. 05, 2025]: 🤝 MindSpeed MM**原生支持**OpenSoraPlan 1.5模型 * [Apr. 03, 2025]: 🚀 MindSpeed MM支持Qwen2.5VL-32B模型 * [Mar. 27, 2025]: 🚀 MindSpeed MM支持Wan2.1-1.3B/14B模型 * [Mar. 26, 2025]: 🚀 MindSpeed MM支持Qwen2.5VL-3B/7B/72B模型 * [Feb. 20, 2025]: 🚀 MindSpeed MM支持InternVL2.5-78B模型 * [Feb. 18, 2025]: 🚀 MindSpeed MM支持HunyuanVideo模型 * [Feb. 17, 2025]: 🔥 MindSpeed MM支持Mindspeed-Core & Megatron 0.8.0版本 * [Feb. 15, 2025]: 🚀 MindSpeed MM支持Sana模型 * [Jan. 24, 2025]: 🚀 MindSpeed MM支持CogVideoX 1.5模型 * [Dec. 30, 2024]: 🌴 MindSpeed MM版本1.0.0发布 * [Dec. 16, 2024]: 🤝 MindSpeed MM**原生支持**Qihoo-T2X模型 * [Dec. 03, 2024]: 🚀 MindSpeed MM支持SD3.5模型 * [Nov. 30, 2024]: 🎉 MindSpeed MM支持多模态理解测评 * [Nov. 22, 2024]: 🚀 MindSpeed MM支持CogVideoX模型 * [Nov. 06, 2024]: 🚀 MindSpeed MM支持FLUX模型 * [Oct. 30, 2024]: 🤝 MindSpeed MM**原生支持**OpenSoraPlan 1.3模型 * [Oct. 21, 2024]: 🚀 MindSpeed MM支持InternVL2、以及Qwen2VL模型 * [Oct. 16, 2024]: 🌱 MindSpeed MM首版本1.0.RC3发布 > 注意： **Prototype**特性未经过充分验证，可能存在不稳定和bug问题，**beta**表示非商用特性。 # 效果展示 --- ## 文生视频： Wan 2.2 T2V

Prompt: Ultra HD, 4K, cinematic composition, low contrast ratio, low saturation, cool tone; The queen wears an iron crown and rides on the dragon over the city. She holds a big flag that shows:" MindSpeed MM".
## 文生视频： OpensoraPlan 1.5 T2V

Prompt: A fluffy white rabbit with soft, velvety fur and twitching pink nose sits curiously near a rustic wooden fence, surrounded by a lush garden of vibrant wildflowers and tall grasses swaying gently in the breeze. The rabbit's large, expressive eyes scan the environment, reflecting the golden hues of the setting sun. As it nibbles on a patch of clover, its ears perk up at the distant sound of chirping birds. The fence, weathered and covered in patches of moss, adds a charming, pastoral backdrop to this serene scene, capturing the essence of a peaceful countryside moment.

Prompt: A majestic Berlin tower stands tall against the night sky, its structure bathed in a mesmerizing array of vibrant lights, casting a kaleidoscope of colors across the cityscape. The tower's intricate architectural details are highlighted by the illumination, creating a stunning contrast against the deep indigo sky. As the camera pans upward, the lights shift, revealing a dynamic play of shadows and hues that dance across the tower's surface. The surrounding city lights twinkle in harmony, enhancing the tower's grandeur and creating a breathtaking visual symphony that captures the essence of Berlin's vibrant nightlife.
## 文生图：Qwen-Image -> 图片编辑 Flux.1-Kontext

Prompt for generation: A coffee shop entrance features a chalkboard sign reading "MindSpeed Coffee 😊 $2 per cup," with a neon light displaying "MindSpeed MM". Next to it hangs a poster showing a beautiful Chinese woman, and beneath the poster is written "Welcome to use MindSpeed MM". Ultra HD, 4K, cinematic composition. (Qwen-Image)

Prompt for edition: Change the decoration of the coffee shop to a modern style with white painting. (Flux.1-Kontext)
## 理解模型：Qwen2VL

Input image for both models:

Input text for both models: Please describe the image shortly

Qwen2VL推理结果: The image depicts a serene lakeside scene with a wooden dock extending into the calm waters. The dock is made of weathered wooden planks and leads to a small platform with a ladder, suggesting it is used for swimming or diving. The lake is surrounded by lush green forests and mountains in the background, creating a picturesque and tranquil setting. The sky is overcast, adding to the calm and peaceful atmosphere of the scene.

Input text for Qwen2VL: 请用中文简短描述这张照片

Qwen2VL推理结果: 这张图片展示了一座木制码头延伸到平静的湖面上，背景是连绵的山脉和茂密的森林。天空多云，整体色调偏冷，给人一种宁静和自然的感觉。
# 版本说明 --- MindSpeed MM支持Atlas 800T A2等昇腾训练硬件形态，软件版本配套表如下： | MindSpeed MM版本 | MindSpeed版本 | Megatron版本 | PyTorch版本 | torch_npu版本 | CANN版本 | Python版本 | | ---------------- | ------------------ | ------------ | ------------ | ------------- | -------- | --------------------- | | master（主线） | master | Core 0.12.1 | 2.6.0, 2.7.1 | 在研版本 | 在研版本 | Python3.10 | | 2.2.0（商用） | 2.2.0_core_r0.12.1 | Core 0.12.1 | 2.6.0, 2.7.1 | 7.2.0 | 8.3.RC1 | Python3.10 | | 2.1.0（商用） | 2.1.0_core_r0.8.0 | Core 0.8.0 | 2.1.0, 2.6.0 | 7.1.0 | 8.2.RC1 | Python3.8, Python3.10 | | 2.0.0（商用） | 2.0.0_core_r0.8.0 | Core 0.8.0 | 2.1.0 | 7.0.0 | 8.1.RC1 | Python3.8, Python3.10 | | 1.0.0（商用） | 1.0.0_core_r0.6.0 | Core 0.6.0 | 2.1.0 | 6.0.0 | 8.0.0 | Python3.8, Python3.10 | 更多详情请参考[版本配套表](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/user-guide/installation.md#%E7%89%88%E6%9C%AC%E9%85%8D%E5%A5%97%E8%A1%A8)。 # 安装 --- MindSpeed MM具体的安装请参考[安装指南](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/user-guide/installation.md#%E5%AE%89%E8%A3%85%E6%8C%87%E5%8D%97)。 # 快速上手 --- MindSpeed MM将以Qwen2.5-VL-3B和Wan2.1-T2V-1.3B模型为例，引导开发者快速上手预置模型在昇腾NPU上的高效运行。具体的操作请参考[快速上手](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/user-guide/getting_start.md#%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B)。 # 特性/模型介绍 --- ## 已支持特性概览 | 模型 \ 特性 | [TP](https://gitcode.com/Ascend/MindSpeed/blob/master/docs/features/tensor-parallel.md) | [TP-SP](https://gitcode.com/Ascend/MindSpeed/blob/master/docs/features/sequence-parallel.md) | [VPP](docs/features/virtual_pipeline_parallel.md) | [PP](https://gitcode.com/Ascend/MindSpeed/blob/master/docs/features/pipeline-parallel.md) | CP | [Distributed Optimizer](https://gitcode.com/Ascend/MindSpeed/blob/master/docs/features/distributed-optimizer.md) | [Recomputation](https://gitcode.com/Ascend/MindSpeed/blob/master/docs/features/recomputation.md) | [LoRA](./docs/features/lora_finetune.md) | RL | [FSDP2](https://gitcode.com/Ascend/MindSpeed/blob/master/docs/features/fsdp2.md) | |:-------------------:|:------:|:------:|:------:|:---------------------------------------------------------------------------------------:|:------:|:------:|:------:|:------:|:------:|:------:| | InternVL3.5-30B | | | | | | | ✔ | | | ✔ | | Qwen3-VL-8B | | | | | | | ✔ | | | ✔ | | Qwen3-VL-30B | | | | | | | ✔ | | | ✔ | | Wan2.2 | | | | | CP (Ulysses) | | ✔ | | | ✔ | | OpenSoraPlan1.5-T2V | ✔ | ✔ | | | | | ✔ | | | | | Wan2.1 | | | | | CP (Ulysses) | ✔ | ✔ | ✔ | | ✔ | | HunyuanVideo | ✔ | ✔ | | | CP (Ulysses) | ✔ | ✔ | ✔ | | | | CogVideoX系列-T2V | ✔ | ✔ | | | CP (Ulysses) | ✔ | ✔ | ✔ | | | | CogVideoX系列-I2V | ✔ | ✔ | | | CP (Ulysses) | ✔ | ✔ | ✔ | | | | OpensoraPlan1.3-T2V | ✔ | ✔ | ✔ | ✔ | CP (Ulysses) | ✔ | ✔ | | | | | OpensoraPlan1.3-I2V | ✔ | ✔ | ✔ | ✔ | CP (Ulysses) | ✔ | ✔ | | | | | GLM-4.1V | | | | ✔ | | ✔ | ✔ | | | | | Qwen2VL-2B | ✔ | ✔ | | ✔ | CP (Ulysses) | ✔ | ✔ | ✔ | | | | Qwen2VL-7B | ✔ | ✔ | | ✔ | CP (Ulysses) | ✔ | ✔ | ✔ | | | | Qwen2VL-72B | ✔ | ✔ | | ✔ | CP (Ulysses) | ✔ | ✔ | ✔ | DPO | | | Qwen2.5VL-3B | ✔ | ✔ | | ✔ | | ✔ | ✔ | | GRPO | | | Qwen2.5VL-7B | ✔ | ✔ | | ✔ | | ✔ | ✔ | | GRPO | | | Qwen2.5VL-32B | ✔ | ✔ | | ✔ | | ✔ | ✔ | | GRPO | | | Qwen2.5VL-72B | ✔ | ✔ | | ✔ | | ✔ | ✔ | ✔ | | | | Qwen2.5Omni-7B | ✔ | | | ✔ | | ✔ | | ✔ | | | | Qwen3-Omni | | | | | | | ✔ | | | ✔ | | InternVL3-8B | ✔ | ✔ | ✔ | ✔ | CP (Ring) | ✔ | ✔ | | | | InternVL3-78B | ✔ | ✔ | ✔ | ✔ | CP (Ring) | ✔ | ✔ | | | 备注： * TP: [Tensor Parallel](https://arxiv.org/abs/1909.08053) * TP-SP: [Tensor Parallel with Sequence Parallel](https://arxiv.org/abs/2205.05198) * VPP: [Virtual Pipeline Parallel](https://arxiv.org/abs/2104.04473) * PP: [Pipeline Parallel](https://arxiv.org/abs/2104.04473) * DSP: [Dynamic Sequence Parallel](https://arxiv.org/abs/2403.10266) * CP (Ulysses): [Context Parallel](https://docs.nvidia.com/megatron-core/developer-guide/latest/api-guide/context_parallel.html) by leveraging [Deepspeed Ulysses](https://arxiv.org/abs/2309.14509) with Sequence Parallel * CP (Ring Attention): Context Parallel with [Ring Attention](https://arxiv.org/abs/2310.01889) * Distributed Optimizer: [Zero Redundancy Optimizer](https://arxiv.org/abs/1910.02054) (ZeRO) * Recomputation: Reducing Activation [Recomputation](https://arxiv.org/abs/2205.05198) * LoRA: [Low-Rank Adaptation](https://arxiv.org/abs/2106.09685) * RL: Reinforcement Learning * FSDP2: [Fully Sharded Data Parallelism](https://arxiv.org/abs/2304.11277) --- ## 配套版本与支持模型 【现版本实测性能（硬件信息：Atlas 900 A2 PODc）】 下述列表中支持的模型，我们在各模型的**README**文件中提供了相应的使用说明，里面有详细的模型训练、推理、微调等流程 **模型**列中的超链接指向各模型的文件夹地址， **参数量**列中的超链接指向模型的社区资源地址 **认证**【Pass】表示已经通过测试的模型，【Test】表示测试中的模型 Samples per Second 为 (SPS); Frames per Second 为 (FPS); Tokens per Second 为 (TPS) (注：此处SPS、FPS展示集群吞吐；TPS展示单卡吞吐) **平均序列长度**是指在性能测试过程中所使用数据集的平均序列长度，通过统计各个序列长度的出现频率进行加权平均计算得出 **亲和场景**为调整少量结构或参数，使得模型更加亲和昇腾，性能更优 **A3** 为硬件 Atlas A3 训练系列产品
MindSpeed MM模型列表
模型任务 模型 参数量 任务 集群 精度格式 NPU性能 参考性能 平均序列长度 认证
多模态生成
Lumina-mGPT 2.0 7B 微调 1x8 BF16 8.24 (SPS) 8.79 (SPS) 1024 【Pass】
OpenSoraPlan1.5 8.5B 预训练 1x8 BF16 0.83 (SPS) / / 【北大贡献】
Wan2.2-T2V 5B 预训练 1x4 (A3) BF16 3.18 (SPS) 2.93 (SPS) / 【Test】
A14B 预训练 1x8 (A3) BF16 0.710 (SPS) 0.292 (SPS) / 【Test】
Wan2.2-TI2V 5B 预训练 1x4 (A3) BF16 3.18 (SPS) 2.93 (SPS) / 【Test】
Wan2.2-I2V A14B 预训练 1x8 (A3) BF16 0.671 (SPS) 0.294 (SPS) / 【Test】
Wan2.1-T2V 1.3B 预训练 1x8 BF16 0.918 (SPS) 1.04 (SPS) / 【Pass】
1.3B Lora微调 1x8 BF16 0.954 (SPS) 1.042 (SPS) / 【Pass】
14B 预训练 1x8 BF16 0.160 (SPS) 0.160 (SPS) / 【Pass】
14B Lora微调 1x8 BF16 0.179 (SPS) 0.174 (SPS) / 【Pass】
Wan2.1-I2V 1.3B 预训练 1x8 BF16 0.76 (SPS) / / 【Pass】
14B 预训练 1x8 BF16 0.130 (SPS) / / 【Pass】
14B Lora微调 1x8 BF16 0.179 (SPS) 0.173 (SPS) / 【Pass】
Self-Forcing 1.3B DMD蒸馏 1x8 BF16 0.225 (FPS) 0.282 (FPS) / 【Test】
HunyuanVideo-T2V 13B 预训练 1x8 BF16 0.171 (SPS) 0.181 (SPS) / 【Pass】
HunyuanVideo-I2V 13B 预训练 1x8 BF16 0.164 (SPS) 0.202 (SPS) / 【Pass】
OpenSora 1.0 5.5B 预训练 1x8 BF16 3.18 (SPS) 2.04 (SPS) / 【Pass】
OpenSora 1.2 5.2B 预训练 1x8 BF16 7.31 (SPS) 8.15 (SPS) / 【Test】
OpenSora 2.0-T2V 11B 预训练 1x8 BF16 1.33 (SPS) 1.46 (SPS) / 【Pass】
OpenSoraPlan 1.2 8.7B 预训练 1x8 BF16 0.42 (SPS) 0.37 (SPS) / 【Pass】
OpenSoraPlan 1.3-T2V 8.6B 预训练 1x8 BF16 1.29 (SPS) 1.27 (SPS) / 【Pass】
OpenSoraPlan 1.3-I2V 8.6B 预训练 1x8 BF16 1.17 (SPS) 1.15 (SPS) / 【Pass】
WFVAE 0.18B 预训练 1x8 BF16 23.860 (SPS) 26.091 (SPS) / 【Pass】
CogVideoX-T2V 5B 预训练 1x8 BF16 1.14 (SPS) 1.00 (SPS) 6976 【Pass】
CogVideoX-I2V 5B 预训练 1x8 BF16 1.13 (SPS) 0.84 (SPS) 6976 【Pass】
CogVideoX 1.5-T2V 5B 预训练 1x8 BF16 1.44 (SPS) 1.75 (SPS) 6976 【Pass】
5B Lora微调 1x8 BF16 2.76 (SPS) 2.64 (SPS) / 【Pass】
CogVideoX 1.5-I2V 5B 预训练 1x8 BF16 1.43 (SPS) 1.44 (SPS) 6976 【Pass】
5B Lora微调 1x8 BF16 2.33 (SPS) 2.04 (SPS) / 【Pass】
Qihoo-T2X 1.1B 推理 1x1 BF16 / / / 【奇虎360贡献】
SDXL 3.5B 预训练 1x8 BF16 29.92 (FPS) 30.65 (FPS) / 【Pass】
3.5B 预训练 1x8 FP16 28.51 (FPS) 30.23 (FPS) / 【Pass】
SD3 2B 全参微调 1x8 BF16 16.09 (FPS) 16.01 (FPS) / 【Pass】
SD3.5 8.1B 全参微调 1x8 BF16 26.20 (FPS) 28.33 (FPS) / 【Pass】
8.1B Lora微调 1x8 FP16 47.93 (FPS) 47.95 (FPS) / 【Pass】
Flux 12B 全参微调 1x8 BF16 55.23 (FPS) 53.65 (FPS) / 【Pass】
Flux-Kontext 12B 全参微调 1x8 BF16 1.97 (FPS) 2.00 (FPS) / 【Pass】
Sana 1.6B Lora微调 1x8 BF16 28.7 (FPS) 32.8 (FPS) / 【Pass】
HiDream 17B Lora微调 1x8 BF16 18.37 (FPS) 19.61 (FPS) / 【Pass】
Kolors 2.6B 推理 1x1 FP16 / / / 【Test】
Qwen-Image 27B Lora微调 1x8 BF16 23.02 (FPS) 21.54 (FPS) / 【Pass】
Qwen-Image-Edit 27B Lora微调 1x8 BF16 20.59 (FPS) 17.47 (FPS) / 【Test】
多模态理解
GLM-4.1V 9B 微调 1x8 BF16 1074.64(TPS) 908.49(TPS) 707 【Pass】
LLaVA 1.5 7B 全参微调 1x8 BF16 3632.31 (TPS) 3757.98 (TPS) 602 【Test】
InternVL 2.0 2B 微调 1x8 BF16 7653.12 (TPS) 5089.99 (TPS) 1813 【Pass】
8B 微调 1x8 BF16 2914.39 (TPS) 2492.87 (TPS) 1813 【Pass】
26B 微调 1x8 BF16 750.12 (TPS) 738.79 (TPS) 1813 【Pass】
76B 全参微调 8x16 BF16 214 (TPS) 191 (TPS) 1813 【Pass】
InternVL 2.5 78B 微调 8x8 BF16 228.33 / 1896 【Test】
InternVL 3.0 8B 微调 1x8 BF16 2344.58 (TPS) 2211.93 (TPS) 2653 【Pass】
78B 微调 4x8 (A3) BF16 228.82 (TPS) 283.15 (TPS) 1932 【Pass】
InternVL 3.5 30B 微调 1x8 (A3) BF16 52.76 (TPS) 47.73 (TPS) 201 【Test】
Qwen2-VL 2B 微调 1x8 BF16 2941.17 (TPS) 3004.04 (TPS) 689 【Pass】
7B 微调 1x8 BF16 1143.74 (TPS) 1004.22 (TPS) 689 【Pass】
72B 微调 4x8 (A3) BF16 261.25 (TPS) 257.63 (TPS) 689 【Pass】
Qwen2.5-VL 3B 微调 1x8 BF16 2047.19 (TPS) 1876.66 (TPS) 689 【Pass】
7B 微调 1x8 BF16 1620.87 (TPS) 1091.20 (TPS) 689 【Pass】
32B 微调 2x8 BF16 257.50 (TPS) / 689 【Pass】
72B 微调 4x8 (A3) BF16 322.96 (TPS) 256.28 (TPS) 689 【Pass】
Qwen3-VL 8B 微调 1x8 BF16 146.54 (TPS) 129.71 (TPS) 179 【Test】
30B 微调 1x8 (A3) BF16 179.57 (TPS) / 185 【Test】
235B 微调 16x8 (A3) BF16 598.05 (TPS) / 16116 【Test】
Qwen2.5-Omni 7B 微调 1x8 BF16 575.01 (TPS) 534.28 (TPS) 296 【Pass】
Qwen3-Omni 30B 微调 2x4 (A3) BF16 131.3 (TPS) 16.4 (TPS) 288 【Test】
语音识别 Whisper 1.5B 预训练 1x8 BF16 93.38 (SPS) 109.23 (SPS) / 【Test】
--- # 常用参数解释说明 针对MindSpeed MM套件中运行所使用的参数做解释说明，具体见[README](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/user-guide/args_readme.md) # 特性规划 --- * 【新模型】 JanusPro * 【模型特性】 CogVideoX: PP * 【模型特性】 OpensoraPlan1.3: CP (Ring Attention) * 【模型特性】 Qwen2VL: VPP, CP (Ulysses & Ring Attention) * 【模型特性】 InternVL2: TP, CP (Ulysses & Ring Attention) * 【基础特性】 Hetero-parallel # 工具使用 --- ## 昇腾Profiling采集工具 MindSpeed MM集成了昇腾profiling采集工具，以提供对模型运行情况的分析。该工具能够依照配置采集模型的算子、显存等关键信息，同时支持动静态两种采集方式，协助开发者分析模型瓶颈，并可根据实际场景需求选择使用。 具体方法见 [README](./mindspeed_mm/tools/README.md) 的profiling章节 ## MindStudio Insight性能分析工具 针对大模型集群场景的性能调优，这里推荐一款优秀的可视化调优工具MindStudio Insight。 MindStudio Insight提供了包括Timeline视图、通信分析、计算耗时等的可视化呈现，以便用户分析潜在的性能瓶颈，并指导如何采取措施消除或减少这些瓶颈。 具体使用方法见[《MindStudio Insight操作指南》](https://www.hiAscend.com/document/detail/zh/mindstudio/82RC1/GUI_baseddevelopmenttool/msAscendinsightug/Insight_userguide_0002.html)，下载地址[《MindStudio Insight》](https://support.huawei.com/enterprise/zh/Ascend-computing/mindstudio-pid-251913966/software/264465341?idAbsPath=fixnode01|23710424|251366513|254884019|261408772|251913966) ## Sora类模型特征提取 MindSpeed MM支持提取视频和文本特征并保存 具体方法见 [README](./mindspeed_mm/tools/README.md) 的Sora类模型特征提取章节 ## 内存快照提取 MindSpeed MM集成了昇腾内存快照采集工具，以提供对模型运行情况的分析。 具体方法见 [README](./mindspeed_mm/tools/README.md) 的内存快照提取章节 ## Tensorboard使用 MindSpeed MM支持Tensorboard的使用 具体方法见 [README](./mindspeed_mm/tools/README.md) 的Tensorboard使用章节 # 版本维护 --- MindSpeed MM版本有以下五个维护阶段： | **状态** | **时间** | **说明** | | ------------------- | -------- |----------------------------------------------------------------------| | 计划 | 1—3 个月 | 计划特性 | | 开发 | 3 个月 | 开发特性 | | 维护 | 6-12 个月| 合入所有已解决的问题并发布版本，针对不同的MindSpeed MM版本采取不同的维护策略，常规版本和长期支持版本维护周期分别为6个月和12个月 | | 无维护 | 0—3 个月 | 合入所有已解决的问题，无专职维护人员，无版本发布 | | 生命周期终止（EOL） | N/A | 分支不再接受任何修改 | MindSpeed MM已发布版本维护策略： | **MindSpeed MM版本** | **维护策略** | **当前状态** | **发布时间** | **后续状态** | **EOL日期** | |-----------------|-----------|--------|------------|-----------------------|-----------| | 2.2.0 | 常规版本 | 维护 | 2025/09/30 | 预计2026/03/30起无维护 | | | 2.1.0 | 常规版本 | 维护 | 2025/06/30 | 预计2025/12/30起无维护 | | | 2.0.0 | 常规版本 | 无维护 | 2025/03/30 | 预计2025/09/30起无维护 | | | 1.0.0 | 常规版本 | 无维护 | 2024/12/30 | 预计2025/06/30起无维护 | | | 1.0.RC3 | 常规版本 | 无维护 | 2024/09/30 | 预计2025/03/30起无维护 | | # 常见问题 --- 相关FAQ请参考链接：[FAQ](./docs/FAQ.md) # 相关资源 --- 1. [面向大规模分布式训练的多模态套件](https://mp.weixin.qq.com/s/Qiw_qThKA72T0lLOSpjkKw) 2. [凭借昇腾澎湃算力，Open-Sora Plan实现电影级视频生成](https://mp.weixin.qq.com/s/KY2tLthhre-SRbuWka3c2w) 3. [MindSpeed MM支持主流多模态理解大模型，性能实现大幅提升！](https://mp.weixin.qq.com/s/3pZRy24ITyKl3nGc33Sq7w) 4. [基于昇腾原生训练！中大和360联合打造多模态任务新范式Qihoo-T2X](https://mp.weixin.qq.com/s/zQAy_hbL9cR3c8-NO6lKnA) 5. [基于昇腾MindSpeed MM玩转Wan2.1视频生成SOTA模型](https://mp.weixin.qq.com/s/g2ShV2F6YpoVAniw6CBN_w) 6. [多模态理解SOTA模型开箱即用，MindSpeed MM支持Qwen2.5-VL最佳实践](https://mp.weixin.qq.com/s/ac7RUWw79stunwQIyC-ykQ) 7. [联创首发-基于昇腾MindSpeed MM玩转Open-Sora Plan V1.5模型](https://mp.weixin.qq.com/s/3cgO8yqrOIEHYqW69VQQcQ) 8. [开源即支持！基于昇腾MindSpeed MM玩转GLM-4.1V-Thinking多模态理解最新模型](https://mp.weixin.qq.com/s/FLgCfBVG7pOzNHji2uwcDg) # 安全声明 --- [MindSpeed MM 安全声明](https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/SECURITYNOTE.md) # 免责声明 --- ## 致MindSpeed MM使用者 1. MindSpeed MM提供的模型仅供您用于非商业目的。 2. 对于各模型，MindSpeed MM平台仅提示性地向您建议可用于训练的数据集，华为不提供任何数据集，如您使用这些数据集进行训练，请您特别注意应遵守对应数据集的License，如您因使用数据集而产生侵权纠纷，华为不承担任何责任。 3. 如您在使用MindSpeed MM模型过程中，发现任何问题（包括但不限于功能问题、合规问题），请在Gitcode提交issue，我们将及时审视并解决。 4. MindSpeed MM功能依赖的Megatron等第三方开源软件，均由第三方社区提供和维护，因第三方开源软件导致的问题的修复依赖相关社区的贡献和反馈。您应理解，MindSpeed MM仓库不保证第三方开源软件本身的问题进行修复，也不保证会测试，纠正所有第三方开源软件的漏洞和错误。 ## 致数据集所有者 如果您不希望您的数据集在MindSpeed MM中的模型被提及，或希望更新MindSpeed MM中的模型关于您的数据集的描述，请在Gitcode提交issue，我们将根据您的issue要求删除或更新您的数据集描述。衷心感谢您对MindSpeed MM的理解和贡献。 ## License声明 Ascend MindSpeed MM提供的模型，如模型目录下存在License的，以该License为准。如模型目录下不存在License的，以Apache 2.0许可证许可，对应许可证文本可查阅Ascend MindSpeed MM根目录。 # 致谢 --- MindSpeed MM 由华为公司的下列部门及昇腾生态合作伙伴联合贡献： 华为公司： * 计算产品线 * 公共开发部 * 2012实验室 * 华为云 生态合作伙伴： * 360 AI Research * 北大OpenSoraPlan团队 * 微信技术架构部基础架构中心 感谢来自社区的每一个PR，欢迎贡献 MindSpeed MM。