Ascend
GPU
CPU
推理应用
MindSpore可以基于训练好的模型,在不同的硬件平台上执行推理任务。
MindSpore支持保存两种类型的数据:训练参数和网络模型(模型中包含参数信息)。
下面介绍一下这几种格式的基本概念及其应用场景。
按照使用环境的不同,推理可以分为以下两种方式。
本机推理
通过加载网络训练产生的Checkpoint文件,调用model.predict
接口进行推理验证,具体操作可查看加载Checkpoint在线推理。
跨平台推理
使用网络定义和Checkpoint文件,调用export
接口导出模型文件,在不同平台执行推理,目前支持导出MindIR、ONNX和AIR(仅支持Ascend AI处理器)模型,具体操作可查看保存模型。
MindSpore通过统一IR定义了网络的逻辑结构和算子的属性,将MindIR格式的模型文件与硬件平台解耦,实现一次训练多次部署。
基本介绍
MindIR作为MindSpore的统一模型文件,同时存储了网络结构和权重参数值。同时支持部署到云端Serving和端侧Lite平台执行推理任务。
同一个MindIR文件支持多种硬件形态的部署:
使用场景
先使用网络定义和Checkpoint文件导出MindIR模型文件,再根据不同需求执行推理任务,如在Ascend 310上执行推理任务、基于MindSpore Serving部署推理服务、端侧推理。
AdvancedEast | AlexNet | AutoDis | BERT | BGCF | CenterFace |
CNN | CNN&CTC | CRNN | CSPDarkNet53 | CTPN | DeepFM |
DeepLabV3 | DeepText | DenseNet121 | DPN | DS-CNN | FaceAttribute |
FaceDetection | FaceQualityAssessment | FaceRecognition | FaceRecognitionForTracking | Faster R-CNN | FasterRcnn-ResNet50 |
FasterRcnn-ResNet101 | FasterRcnn-ResNet152 | FCN | FCN-4 | GAT | GCN |
GoogLeNet | GRU | hardnet | InceptionV3 | InceptionV4 | LeNet |
LSTM-SegtimentNet | Mask R-CNN | MaskRCNN_MobileNetV1 | MASS | MobileNetV1 | MobileNetV2 |
NCF | PSENet | ResNet18 | ResNet50 | ResNet101 | ResNet152 |
ResNetV2-50 | ResNetV2-101 | ResNetV2-152 | SE-Net | SSD-MobileNetV2 | ResNext50 |
ResNext101 | RetinaNet | Seq2Seq(Attention) | SE-ResNet50 | ShuffleNetV1 | SimplePoseNet |
SqueezeNet | SSD | SSD-GhostNet | SSD-MobileNetV1-FPN | SSD-MobileNetV2-FPNlite | SSD-ResNet50 |
SSD-ResNet50-FPN | SSD-VGG16 | TextCNN | TextRCNN | TinyBert | TinyDarknet |
Transformer | UNet++ | UNet2D | VGG16 | WarpCTC | Wide&Deep |
WGAN | Xception | YOLOv3-DarkNet53 | YOLOv3-ResNet18 | YOLOv4 | YOLOv5 |
除了上述表格中的网络外,用户自定义网络中使用到的算子,如果能被导出到MindIR模型文件中,也能使用该MindIR模型文件执行推理任务。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。