# huawei_model

**Repository Path**: holyorca-ai/huawei_model

## Basic Information

- **Project Name**: huawei_model
- **Description**: huawei_model
- **Primary Language**: Shell
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-10-14
- **Last Updated**: 2026-10-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# huawei_model —— Atlas 300I Duo 大模型推理部署

本工作区包含华为昇腾服务器（鲲鹏 920S + 4 × Atlas 300I Duo）的大模型推理环境部署工具包。

## 目录结构

```
huawei_model/
└── deploy/            部署工具包（脚本 + 文档）
    ├── README.md      ★ 部署文档：版本矩阵、下载清单、操作步骤、FAQ
    ├── common.sh      公共函数
    ├── 00_preflight.sh       环境预检
    ├── 10_install_driver.sh  NPU 驱动 + 固件
    ├── 20_install_cann.sh    CANN Toolkit + ops 算子包 + NNAL 加速库
    ├── 30_install_mindie.sh  MindIE 完整包 + ATB 模型库
    ├── 40_prepare_model.sh   下载 Qwen2.5 权重
    ├── 50_start_server.sh    启动 MindIE Server
    ├── 60_verify.sh          推理验证 + 压测
    └── 99_uninstall.sh       卸载重装
```

## 目标硬件

| 项 | 配置 |
|---|---|
| CPU | 鲲鹏 920S 32核（aarch64） |
| 内存 | 256GB DDR4 ECC |
| NPU | 4 × Atlas 300I Duo（8 × Ascend 310P，单芯片 48GB，共 384GB） |
| 存储 | 1TB SSD + 4TB HDD |

## 技术路线

**MindIE**（不是 vLLM）：vllm-ascend 仅支持 910B 系列；300I Duo（310P）的正确推理栈是
MindIE Server，提供与 OpenAI/vLLM 完全兼容的 `/v1/chat/completions` 接口。
目标模型：Qwen2.5 系列（0.5B ~ 72B，FP16，按模型大小自动张量并行）。

## 快速开始

```bash
# 1. 从 hiascend.com 下载安装包放入 deploy/packages/（清单见 deploy/README.md 第三节）
#    —— MindIE 完整包 + ATB 模型库（ATB 模型库不随完整包发布，需从 MindIE 镜像 /opt/package 提取）
#    另按预检结果决定是否补 CANN ops 算子包 / NNAL 加速库
# 2. 将 deploy/ 目录拷到服务器，root 执行：
cd deploy
./00_preflight.sh                # 预检
./10_install_driver.sh && reboot # 驱动（需重启）
./20_install_cann.sh             # CANN
./30_install_mindie.sh           # MindIE
./40_prepare_model.sh Qwen2.5-14B-Instruct   # 权重
./50_start_server.sh /data/models/Qwen2.5-14B-Instruct  # 启动服务
./60_verify.sh                   # 验证
```

详细说明（版本配套、FAQ、参数）见 [deploy/README.md](deploy/README.md)。