# enterprise-docs

**Repository Path**: xorbitsai/enterprise-docs

## Basic Information

- **Project Name**: enterprise-docs
- **Description**: Official enterprise version docs.
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: docs
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-07-01
- **Last Updated**: 2025-07-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

<div align="center">
<img src="https://github.com/xorbitsai/inference/blob/043b673dbd93f1cd5c8d6b0bb481f8d605cd24d2/assets/xorbits-logo.png" width="180px" alt="xorbits" />

# Xorbits Inference Enterprise

<p align="center">
  <a href="./README.md"><img alt="README in English" src="https://img.shields.io/badge/English-d9d9d9?style=for-the-badge"></a>
  <a href="./README_zh_CN.md"><img alt="简体中文版自述文件" src="https://img.shields.io/badge/中文介绍-454545?style=for-the-badge"></a>
</p>

</div>
<br />

# Xinference 企业级推理服务产品介绍

Xinference 是针对生成式 AI 场景度身定制的能力全面的推理服务平台。通过提供统一的异构算力推理服务、模型全生命周期管理以及可运维可观测的企业级管理能力，助力客户快速构建 AI 应用，加速业务创新

### 产品优势

- **统一的异构算力推理服务**
   - 支持多厂商、多型号 GPU/NPU (包括国产) 异构算力同时调度。
   - 智能调度算法优化算力资源配置，提高资源利用率。
   - 按需扩展算力资源，针对不同场景动态配置基础算力
- **全生命周期管理**
   - 提供模型自定义注册、微调、一键部署、删除等全流程管理工具。
   - 支持模型热加载，支持针对 GPU 的模型部署隔离
   - 支持模型版本管理，确保模型可控性和稳定性
- **多引擎、多模型支持**
   - 支持多种推理引擎，如 vLLM、SGLang、Pytorch、MindIE 等，灵活适配不同模型和场景
   - 兼容主流应用框架，包括，Langchain、Dify、Ragflow 等，方便一键集成。
   - 支持 100+ 最新模型，覆盖文本生成、多模态、音频生成等多种类型。
- **企业级特性**
   - 提供用户权限管理、单点登录、多租户隔离、高可用等企业级能力
   - 支持模型微调和持续预训练，支持离线任务处理
   - 提供监控运维和可观测工具，保障系统稳定运行

### 核心功能

- **平台监控**：实时监测模型实例、GPU 使用率、Token 消耗等关键指标。
- **模型管理**：支持模型注册、模型仓库管理、运行实例管理、微调任务管理等。
- **用户管理**：提供角色管理、用户管理、密钥管理、集群管理等功能。

### 功能列表

| 一级功能 | 二级功能  | 功能描述                             |
| ---- | ----- | -------------------------------- |
| 基础模块 | 登录/注册 | 支持微信扫码进行新用户注册、支持两种登录方式（账号密码&扫码）  |
|      | 个人中心  | 查看账号信息，支持更改手机号和重置密码              |
|      | 国际化   | 支持中文&英文切换                        |
| 系统管理 | 用户管理  | 列表展示用户，支持添加新用户、编辑资料、删除账户、分配令牌操作。 |
|      | 租户管理  | 列表展示租户、修改、删除租户操作, 支持给租户分配用户。     |
|      | 角色管理  | 自定义角色名称，选择权限集合，支持复制已有角色快速设置。     |
|      | 菜单管理  | 树状结构展示菜单，支持调整顺序，勾选分配权限。          |
| 本地模型 | 平台监控  | 实时性能指标展示、集群管理、模型管理、节点、资源监控       |
|      | 模型监控  | 已安装模型监控                          |
|      | 模型仓库  | 用于存储、分类和管理本地模型文件                 |
|      | 模型注册  | 登记和配置新模型，方便调用和使用                 |
|      | 运行实例  | 展示、监控和管理模型的实际运行实例及状态             |
|      | 微调任务  | 微调任务创建、监控，微调结果评估，一键上线            |

### 企业版和开源版本的对比

|           | 企业版本                     | 开源版本                        |
| --------- | ------------------------ | --------------------------- |
| 用户权限管理    | 用户权限、单点登录、加密认证           | tokens 授权                   |
| 集群能力      | SLA 调度、租户隔离、弹性伸缩         | 抢占调度                        |
| 引擎支持      | 优化过的vLLM、SGLang、TensorRT | vLLM、SGLang                 |
| 批处理       | 支持大量调用的定制批处理             | 无                           |
| 微调        | 支持上传数据集微调                | 无                           |
| 国产 GPU 支持 | 昇腾、海光、天数、寒武纪、沐曦          | 无                           |
| 模型管理      | 可私有部署的模型下载和管理服务          | 依赖 modelscope 和 huggingface |
| 故障检测和恢复   | 自动检测节点故障并进行故障复位          | 无                           |
| 高可用       | 所有节点都是冗余部署支持服务高可用        | 无                           |
| 监控        | 监控指标 API 接口，和现有系统集成      | 页面显示                        |
| 运维        | 远程 cli 部署、不停机升级          | 无                           |
| 服务        | 远程技术支持和自动升级服务            | 社区支持                        |

### 产品界面

![en-模型仓库.png](https://res.craft.do/user/full/f6450355-0e86-b975-62dc-d9f62e278ac4/doc/A78F5F1C-E3E4-4ECE-B14E-463BBD6B8F29/ad30d8f3-97de-9b1d-4c6c-1359ce443da0/NQvAMIxHMa7domrOmR4LTyDxTeSsMMU2txtkcGAbDXgz/en-.png)

![en-微调任务.png](https://res.craft.do/user/full/f6450355-0e86-b975-62dc-d9f62e278ac4/doc/4326668D-A1B2-43EB-9298-7A5B2BE1EC28/89DC0769-1E13-450E-A6EA-6B6F764BD8ED_2/6bJBYVzInGTRx43yi9mLEoxhldRiVcy0tf6rgHS3A2sz/en-.png)

### 联系我们

![Image.png](https://res.craft.do/user/full/f6450355-0e86-b975-62dc-d9f62e278ac4/doc/4326668D-A1B2-43EB-9298-7A5B2BE1EC28/4605150F-54EE-4DB6-B30F-D879204AFD8C_2/YRjHVvoKQrxdaH8EvFmLB1FXmeB7Y4nZ2ggxWj3hxeYz/Image.png)