MindSpore的vLLM插件,支持基于vLLM框架部署MindSpore模型的推理服务。
最近更新: 9天前MindSpore is a new open source deep learning training/inference framework that could be used for mobile, edge and cloud scenarios.
最近更新: 24天前MindSpore 自定义算子扩展(ms_custom_ops),是依托 MindSpore 原生的自定义算子与自定义 pass 能力构建而成的独立算子扩展插件包。
最近更新: 2个月前MindSpore 自定义算子扩展(ms_custom_ops),是依托 MindSpore 原生的自定义算子与自定义 pass 能力构建而成的独立算子扩展插件包。
最近更新: 2个月前MindSpore 自定义算子扩展(ms_custom_ops),是依托 MindSpore 原生的自定义算子与自定义 pass 能力构建而成的独立算子扩展插件包。
最近更新: 2个月前Omni_Infer is a suite of inference accelerators designed for the Ascend NPU platform, offering native support and an expanding feature set.
最近更新: 3个月前