MindSpore Serving

MindSpore Serving
- 概述
- 安装
  - 安装Serving
  - 配置环境变量
- 快速入门
- 文档
  - 开发者教程
- 社区
  - 治理
  - 交流
- 贡献
- 版本说明
- 许可证

概述

MindSpore Serving是一个轻量级、高性能的服务模块，旨在帮助MindSpore开发者在生产环境中高效部署在线推理服务。当用户使用MindSpore完成模型训练后，导出MindSpore模型，即可使用MindSpore Serving创建该模型的推理服务。

MindSpore Serving架构：

MindSpore Serving分为客户端、服务器两个部分。在客户端中，用户通过gRPC或RESTful接口向服务器下发推理服务命令。服务器包括主（Main）节点和一个或多个工作（Worker）节点，主节点管理所有的工作节点及其部署的模型信息，接受客户端的用户请求，并将请求分发给工作节点。每个工作节点部署了一个可服务对象，即Servable，这里的Servable可以是单个模型，也可以是多个模型的组合，一个Servable可以围绕相同的模型通过多种方法来提供不同的服务。

对于服务端，当以MindSpore作为推理后端时，MindSpore Serving当前支持Ascend 910/310P/310和Nvidia GPU环境。当以MindSpore Lite作为推理后端时，MindSpore Serving当前支持Ascend 310、Nvidia GPU和CPU。客户端不依赖特定硬件平台。

MindSpore Serving提供以下功能：

支持客户端gRPC和RESTful接口。
支持组装模型的前处理和后处理。
支持batch功能，多实例请求会被拆分组合以满足模型batch size的需要。
提供客户端Python简易接口。
支持多模型组合，多模型组合和单模型场景使用相同的一套接口。
支持分布式模型推理功能。

安装

MindSpore Serving安装和配置可以参考MindSpore Serving安装页面。

快速入门

以一个简单的Add网络示例，演示MindSpore Serving如何使用。

文档

开发者教程

有关安装指南、教程和API的更多详细信息，请参阅用户文档。

社区

治理

查看MindSpore如何进行开放治理。

交流

MindSpore Slack 开发者交流平台。

贡献

欢迎参与贡献。

版本说明

版本说明请参阅RELEASE。

许可证

Apache License 2.0