# uai-ai-hub-openvino

**Repository Path**: uai-team/uai-ai-hub-openvino

## Basic Information

- **Project Name**: uai-ai-hub-openvino
- **Description**: 英特尔 AIPC 模型部署方案
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2025-12-25
- **Last Updated**: 2026-02-18

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 模型转换

在使用 `OpenVINO` 加载模型前，需要将模型导出成 `OpenVINO` 格式。

首先，创建虚拟环境并安装依赖。

```bash
# 创建虚拟环境
conda create -n uai-ai-openvino-optimum python=3.11 -y

# 激活虚拟环境
conda activate uai-ai-openvino-optimum

# 安装依赖
pip install optimum[openvino]==2.1.0 modelscope==1.22.3
```

其次，下载模型。

```bash
python download_models.py
```

然后，将模型导出成 `OpenVINO` 格式。

```bash
optimum-cli export openvino --model BAAI/bge-large-zh-v1.5 --task feature-extraction D:/models/openvino/bge-large-zh-v1.5-ov
optimum-cli export openvino --model BAAI/bge-reranker-v2-m3 --task text-classification D:/models/openvino/bge-reranker-v2-m3-ov
```

最后，以上格式转换后的模型已发布到modelscope中。

* 向量模型：[https://modelscope.cn/models/wuxlabs/bge-large-zh-v1.5-ov](https://modelscope.cn/models/wuxlabs/bge-large-zh-v1.5-ov)
* 重排序模型：[https://modelscope.cn/models/wuxlabs/bge-reranker-v2-m3-ov](https://modelscope.cn/models/wuxlabs/bge-reranker-v2-m3-ov)


# 环境安装

在隔离的虚拟环境中运行程序，需要先创建一个虚拟环境，并且安装依赖。

```bash
# 创建虚拟环境
conda create -n uai-ai-openvino python=3.11 -y

# 激活虚拟环境
conda activate uai-ai-openvino

# 安装依赖
pip install openvino-genai==2025.4.1
# 或者
pip install -r requirements.txt
```

# 参数设置

本项目已支持运行以下服务：
* 对话服务（chat）：默认使用 `OpenVINO/Qwen3-8B-int4-cw-ov` 模型
* 向量化服务（embedding）：默认使用 `wuxlabs/bge-large-zh-v1.5-ov` 模型
* 重排序服务（rerank）：默认使用 `wuxlabs/bge-reranker-v2-m3-ov` 模型
* 视觉服务（vision）：默认使用 `OpenVINO/Qwen2.5-VL-7B-Instruct-int4-ov` 模型

在 `configs/application.yaml` 文件中配置了相关服务信息，可配置对应的服务是否启动，`sevice.服务名称.enable` 参数决定了是否启动该服务，如果要启动某项服务，请将该参数设置为 `True`，否则，请将该参数设置为 `False`。

比如，要启动对话服务，则修改 `configs/application.yaml` 文件中 `sevice.chat.enable` 参数设置为 `True`。

```diff
 service:
   chat:
-    enable: False
+    enable: True
     model_name: OpenVINO/Qwen3-8B-int4-cw-ov
     device: GPU
```

要启动视觉服务，则修改 `configs/application.yaml` 文件中 `sevice.vision.enable` 参数设置为 `True`。

```diff
 service:
   vision:
-    enable: False
+    enable: True
     model_name: OpenVINO/Qwen2.5-VL-7B-Instruct-int4-ov
     device: GPU
```

启动其余服务也同样进行设置即可。

# 启动服务

参数设置完成后，可以运行以下命令启动服务。

```bash
# 激活虚拟环境
conda activate uai-ai-openvino

# 启动服务
python server.py
```

服务启动成功后，可以访问 `http://localhost:12510/docs` 查看接口文档。

![](images/openvino-docs.png)

# 使用案例

参考[使用案例](使用案例.ipynb)。