推理模型离线转换

概述

MindSpore Lite提供离线转换模型功能的工具，支持多种类型的模型转换，转换后的模型可用于推理。命令行参数包含多种个性化选项，为用户提供方便的转换途径。

目前支持的输入模型类型有：MindSpore、TensorFlow Lite、Caffe、TensorFlow、ONNX和PyTorch。

通过转换工具转换成的ms模型，支持转换工具配套及更高版本的Runtime推理框架执行推理。

Linux环境使用说明

环境准备

使用MindSpore Lite模型转换工具，需要进行如下环境准备工作。

• 编译或下载模型转换工具。

• 将转换工具需要的动态链接库加入环境变量LD_LIBRARY_PATH。

  export LD_LIBRARY_PATH=${PACKAGE_ROOT_PATH}/tools/converter/lib:${LD_LIBRARY_PATH}

  ${PACKAGE_ROOT_PATH}是编译或下载得到的包解压后的路径。

目录结构

mindspore-lite-{version}-linux-x64
└── tools
    └── converter
        ├── include
        │   └── registry             # 自定义算子、模型解析、节点解析、转换优化注册头文件
        ├── converter                # 模型转换工具
        │   └── converter_lite       # 可执行程序
        └── lib                      # 转换工具依赖的动态库
            ├── libmindspore_glog.so.0         # Glog的动态库
            ├── libmslite_converter_plugin.so  # 注册插件的动态库
            ├── libopencv_core.so.4.5          # OpenCV的动态库
            ├── libopencv_imgcodecs.so.4.5     # OpenCV的动态库
            └── libopencv_imgproc.so.4.5       # OpenCV的动态库

参数说明

MindSpore Lite模型转换工具提供了多种参数设置，用户可根据需要来选择使用。此外，用户可输入./converter_lite --help获取实时帮助。

下面提供详细的参数说明。

• 参数名和参数值之间用等号连接，中间不能有空格。
• 由于支持转换PyTorch模型的编译选项默认关闭，因此下载的安装包不支持转换PyTorch模型。需要打开指定编译选项进行本地编译。转换PyTorch模型需满足以下前提：编译前需要export MSLITE_ENABLE_CONVERT_PYTORCH_MODEL = on。转换前加入libtorch的环境变量：export LD_LIBRARY_PATH="/home/user/libtorch/lib:${LD_LIBRARY_PATH}" && export LIB_TORCH_PATH="/home/user/libtorch"。用户可以下载CPU版本libtorch后解压到/home/user/libtorch的目录下。
• Caffe模型一般分为两个文件：*.prototxt模型结构，对应--modelFile参数；*.caffemodel模型权值，对应--weightFile参数。
• --fp16的优先级很低，比如如果开启了量化，那么对于已经量化的权重，--fp16不会再次生效。总而言之，该选项只会在序列化时对模型中的float32的权重生效。
• inputDataFormat：一般在集成NCHW规格的三方硬件场景下(例如集成NNIE使用说明)，设为NCHW比NHWC会有较明显的性能提升。在其他场景下，用户也可按需设置。
• configFile配置文件采用key=value的方式定义相关参数，量化相关的配置参数详见训练后量化，扩展功能相关的配置参数详见扩展配置。
• --optimize该参数是用来设定在离线转换的过程中需要完成哪些特定的优化。如果该参数设置为none，那么在模型的离线转换阶段将不进行相关的图优化操作，相关的图优化操作将会在执行推理阶段完成。该参数的优点在于转换出来的模型由于没有经过特定的优化，可以直接部署到CPU/GPU/Ascend任意硬件后端；而带来的缺点是推理执行时模型的初始化时间增长。如果设置成general，表示离线转换过程会完成通用优化，包括常量折叠，算子融合等（转换出的模型只支持CPU/GPU后端，不支持Ascend后端）。如果设置成gpu_oriented，表示转换过程中会完成通用优化和针对GPU后端的额外优化（转换出来的模型只支持GPU后端）。如果设置成ascend_oriented，表示转换过程中只完成针对Ascend后端的优化（转换出来的模型只支持Ascend后端）。
• 加解密功能仅在编译时设置为MSLITE_ENABLE_MODEL_ENCRYPTION=on时生效，并且仅支持Linux x86平台。其中密钥为十六进制表示的字符串，如密钥定义为b'0123456789ABCDEF'对应的十六进制表示为30313233343536373839414243444546，Linux平台用户可以使用xxd工具对字节表示的密钥进行十六进制表达转换。 需要注意的是，加解密算法在1.7版本进行了更新，导致新版的converter工具不支持对1.6及其之前版本的MindSpore加密导出的模型进行转换。

CPU模型编译优化

如果转换后的ms模型使用Android CPU后端进行推理，并且对模型编译阶段时延要求较高。可以尝试开启此优化，在configFile配置文件中增加配置项[cpu_option_cfg_param]，得到编译更高效的模型。目前仅对模型中含有Matmul算子并且数据类型为float32或开启动态量化时有优化效果。

使用示例

下面选取了几个常用示例，说明转换命令的使用方法。

• 以Caffe模型LeNet为例，执行转换命令。

  ./converter_lite --fmk=CAFFE --modelFile=lenet.prototxt --weightFile=lenet.caffemodel --outputFile=lenet

  本例中，因为采用了Caffe模型，所以需要模型结构、模型权值两个输入文件。再加上其他必需的fmk类型和输出路径两个参数，即可成功执行。

  结果显示为：

  CONVERT RESULT SUCCESS:0

  这表示已经成功将Caffe模型转化为MindSpore Lite模型，获得新文件lenet.ms。

• 以MindSpore、TensorFlow Lite、TensorFlow和ONNX模型为例，执行转换命令。

  • MindSpore模型model.mindir

    ./converter_lite --fmk=MINDIR --modelFile=model.mindir --outputFile=model

    通过MindSpore v1.1.1之前版本导出的MindIR模型，建议采用对应版本的转换工具转换成ms模型。MindSpore v1.1.1及其之后的版本，转换工具会做前向兼容。

  • TensorFlow Lite模型model.tflite

    ./converter_lite --fmk=TFLITE --modelFile=model.tflite --outputFile=model

  • TensorFlow模型model.pb

    ./converter_lite --fmk=TF --modelFile=model.pb --outputFile=model

  • ONNX模型model.onnx

    ./converter_lite --fmk=ONNX --modelFile=model.onnx --outputFile=model

  • PyTorch模型model.pt

    export LD_LIBRARY_PATH="/home/user/libtorch/lib:${LD_LIBRARY_PATH}"
    export LIB_TORCH_PATH="/home/user/libtorch"
    ./converter_lite --fmk=PYTORCH --modelFile=model.pt --outputFile=model

  • PyTorch模型model.pth

    export LD_LIBRARY_PATH="/home/user/libtorch/lib:${LD_LIBRARY_PATH}"
    export LIB_TORCH_PATH="/home/user/libtorch"
    ./converter_lite --fmk=PYTORCH --modelFile=model.pth --outputFile=model

    为了转换PyTorch模型，以下前提必须满足：编译前需要export MSLITE_ENABLE_CONVERT_PYTORCH_MODEL = on。转换前加入libtorch的环境变量。用户可以下载CPU版本libtorch后解压到/home/user/libtorch路径。

  以上几种情况下，均显示如下转换成功提示，且同时获得model.ms目标文件。

  CONVERT RESULT SUCCESS:0

训练后量化示例请参考https://www.mindspore.cn/lite/docs/zh-CN/r2.2/use/post_training_quantization.html。

Windows环境使用说明

环境准备

使用MindSpore Lite模型转换工具，需要进行如下环境准备工作。

• 编译或下载模型转换工具。

• 将转换工具需要的动态链接库加入环境变量PATH。

  set PATH=%PACKAGE_ROOT_PATH%\tools\converter\lib;%PATH%

  ${PACKAGE_ROOT_PATH}是编译或下载得到的包解压后的路径。

目录结构

mindspore-lite-{version}-win-x64
└── tools
    └── converter # 模型转换工具
        ├── converter
        │   └── converter_lite.exe    # 可执行程序
        └── lib
            ├── libgcc_s_seh-1.dll    # MinGW动态库
            ├── libmindspore_glog.dll            # Glog的动态库
            ├── libmslite_converter_plugin.dll   # 注册插件的动态库
            ├── libmslite_converter_plugin.dll.a # 注册插件的动态库的链接文件
            ├── libssp-0.dll          # MinGW动态库
            ├── libstdc++-6.dll       # MinGW动态库
            └── libwinpthread-1.dll   # MinGW动态库

参数说明

参考Linux环境模型转换工具的参数说明。

使用示例

设置日志打印级别为INFO。

set GLOG_v=1

日志级别：0代表DEBUG，1代表INFO，2代表WARNING，3代表ERROR。

下面选取了几个常用示例，说明转换命令的使用方法。

• 以Caffe模型LeNet为例，执行转换命令。

  call converter_lite --fmk=CAFFE --modelFile=lenet.prototxt --weightFile=lenet.caffemodel --outputFile=lenet

  本例中，因为采用了Caffe模型，所以需要模型结构、模型权值两个输入文件。再加上其他必需的fmk类型和输出路径两个参数，即可成功执行。

  结果显示为：

  CONVERT RESULT SUCCESS:0

  这表示已经成功将Caffe模型转化为MindSpore Lite模型，获得新文件lenet.ms。

• 以MindSpore、TensorFlow Lite、ONNX模型格式和感知量化模型为例，执行转换命令。

  • MindSpore模型model.mindir

    call converter_lite --fmk=MINDIR --modelFile=model.mindir --outputFile=model

    通过MindSpore v1.1.1之前版本导出的MindIR模型，建议采用对应版本的转换工具转换成ms模型。MindSpore v1.1.1及其之后的版本，转换工具会做前向兼容。

  • TensorFlow Lite模型model.tflite

    call converter_lite --fmk=TFLITE --modelFile=model.tflite --outputFile=model

  • TensorFlow模型model.pb

    call converter_lite --fmk=TF --modelFile=model.pb --outputFile=model

  • ONNX模型model.onnx

    call converter_lite --fmk=ONNX --modelFile=model.onnx --outputFile=model

  以上几种情况下，均显示如下转换成功提示，且同时获得model.ms目标文件。

  CONVERT RESULT SUCCESS:0