代码拉取完成,页面将自动刷新
Linux
Ascend
GPU
CPU
推理应用
初级
中级
高级
基于MindSpore训练后的模型,支持在不同的硬件平台上执行推理。本文介绍各平台上的推理流程。
按照原理不同,推理可以有两种方式:
MindSpore支持的推理场景,按照硬件平台维度可以分为下面几种:
硬件平台 | 模型文件格式 | 说明 |
---|---|---|
Ascend 910 AI处理器 | checkpoint格式 | 与MindSpore训练环境依赖一致 |
Ascend 310 AI处理器 | ONNX、AIR格式 | 搭载了ACL框架,支持OM格式模型,需要使用工具转化模型为OM格式模型。 |
GPU | checkpoint格式 | 与MindSpore训练环境依赖一致。 |
GPU | ONNX格式 | 支持ONNX推理的runtime/SDK,如TensorRT。 |
CPU | checkpoint格式 | 与MindSpore训练环境依赖一致。 |
CPU | ONNX格式 | 支持ONNX推理的runtime/SDK,如TensorRT。 |
- ONNX,全称Open Neural Network Exchange,是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如PyTorch, MXNet)可以采用相同格式存储模型数据并交互。详细了解,请参见ONNX官网https://onnx.ai/。
- AIR,全称Ascend Intermediate Representation,类似ONNX,是华为定义的针对机器学习所设计的开放式的文件格式,能更好地适配Ascend AI处理器。
- ACL,全称Ascend Computer Language,提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等C++ API库,供用户开发深度神经网络应用。它匹配Ascend AI处理器,使能硬件的运行管理、资源管理能力。
- OM,全称Offline Model,华为Ascend AI处理器支持的离线模型,实现算子调度的优化,权值数据重排、压缩,内存使用优化等可以脱离设备完成的预处理功能。
- TensorRT,NVIDIA 推出的高性能深度学习推理的SDK,包括深度推理优化器和runtime,提高深度学习模型在边缘设备上的推断速度。详细请参见https://developer.nvidia.com/tensorrt。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。