msModelSlim

介绍

MindStudio ModelSlim，昇腾模型压缩工具。 【Powered by MindStudio】

昇腾压缩加速工具，一个以加速为目标、压缩为技术、昇腾为根本的亲和压缩工具。支持训练加速和推理加速，包括模型低秩分解、稀疏训练、训练后量化、量化感知训练等功能，昇腾AI模型开发用户可以灵活调用Python API接口，对模型进行性能调优，并支持导出不同格式模型，在昇腾AI处理器上运行。

环境和依赖

• 硬件环境请参见《昇腾产品形态说明》。
• 物理机、容器、虚拟机场景下驱动固件和CANN软件的安装方案参见《安装方案》。硬件配套的软件下载资源参见《配套资源下载》，来安装昇腾设备开发或运行环境。
• PyTorch框架、torch_npu插件（在npu上使用本工具进行大模型量化需要，在cpu上使用本工具进行大模型量化不需要）

版本配套

注意事项

RC3 及之前的 CANN 包已包含msModelSlim代码，安装CANN包即可使用；RC4 及之后的 CANN 包需与msModelSlim代码仓配套使用。

msModelSlim安装方式

msModelSlim当前处于逐步开源过程中，计划通过CANN的8.0.RC2、8.0.RC3、8.0.0三个版本进行过渡。

版本交替期间提供两种方式使用msModelSlim工具：

方式一：

• 下载安装CANN（仅限8.0.RC3及之前的版本）并配置环境变量后即可使用msModelSlim。可以参考安装CANN软件包
  注意 ：8.0.RC2版本存在已知问题，使用modelslim调用接口时，部分功能存在异常。请使用msmodelslim调用。

方式二：
（CANN8.0.RC3之后的版本，将会只支持开源方式使用，通过CANN包直接使用的方式将不再受支持。后续功能优化、新增将更新在开源版本中。）

• 下载安装CANN（8.0.RC3之后的版本）及开源版本的msModelSlim
  操作步骤：
  • 下载安装CANN并设置环境变量，可以参考安装CANN软件包
  • git clone下载msit仓代码；
  • 进入到msit/msmodelslim的目录 cd msit/msmodelslim；并在进入的msmodelslim目录下，运行安装脚本 bash install.sh;
  • (可选，稀疏量化场景下需要此步骤)进入python环境下的site_packages包管理路径 cd {python环境路径}/site-packages/msmodelslim/pytorch/weight_compression/compress_graph/
    以下是以/usr/local/为用户所在目录，以3.7.5为python版本的样例代码：

  cd usr/local/lib/python3.7/site-packages/msmodelslim/pytorch/weight_compression/compress_graph/
  
  • (可选，稀疏量化场景下需要此步骤)编译weight_compression组件 sudo bash build.sh {CANN包安装路径}/ascend-toolkit/latest
  • (可选，稀疏量化场景下需要此步骤)上一步编译操作会得到bulid文件夹，给build文件夹相关权限 chmod -R 550 build
  • (可选，使用Precision Tool需要此步骤)参考precision_tool使用方法说明里的步骤设置环境变量

特性清单

• msModelSlim针对开发者的差异化需求，提供了以下模型压缩方案：

Python API接口说明

大模型已验证列表

使用案例及调优指南

Attention量化使用说明
w8a8精度调优策略
w8a16精度调优策略
稀疏量化精度调试案例
量化及稀疏量化场景导入代码样例
msModelSlim量化权重转AutoAWQ&AutoGPTQ使用指南
低显存量化特性使用说明
mindspeed-llm框架量化使用说明

许可证

Apache License 2.0