# multiper

**Repository Path**: xuanwu_s3/multiper

## Basic Information

- **Project Name**: multiper
- **Description**: 多流视觉语言模型推理系统，支持多路视频流实时处理与智能分析。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-06-06
- **Last Updated**: 2026-06-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# MultiStream-VLM

多流视觉语言模型推理系统，支持多路视频流实时处理与智能分析。

## 项目简介

MultiStream-VLM 是一个基于 RK3588 平台的多流视频处理系统，集成了：
- 多路视频流解码与处理
- YOLO 目标检测
- VLM（视觉语言模型）推理
- 实时视频显示输出

## 目录结构

```
multiper/
├── CMakeLists.txt          # 主 CMake 配置
├── build.sh                # 一键编译脚本
├── cmake/                  # CMake 配置文件
│   ├── toolchain.cmake     # 交叉编译工具链配置
│   ├── msvlm.cmake         # MSVLM 模块编译配置
│   ├── install.cmake       # 安装配置
│   └── package.cmake       # 打包配置
├── sample/                 # 示例模块
│   ├── msvlm/              # MSVLM 模块源码
│   └── msevent/            # MSEVENT 模块源码
├── include/                # 公共头文件
├── third/                  # 第三方依赖库
├── _install/               # 安装目录
│   ├── msvlm/              # MSVLM 安装文件
│   ├── msevent/            # MSEVENT 安装文件
│   └── overlay/            # 固件和模型文件
├── build/                  # 构建目录
└── output/                 # 打包输出目录
```

## 编译说明

### 环境要求

- CMake >= 3.16
- aarch64-none-linux-gnu 交叉编译工具链
- 目标平台：RK3588 (ARM aarch64)

### 编译命令

使用 `build.sh` 一键编译脚本：

```bash
# 显示帮助信息
./build.sh -h

# 清理构建目录（不编译）
./build.sh -c

# 编译所有模块
./build.sh -a

# 只编译 MSVLM 模块
./build.sh -m

# 只编译 MSEVENT 模块
./build.sh -e

# 编译并安装
./build.sh -m -i

# 编译、安装并打包
./build.sh -m -i -p

# 清理后编译、安装、打包
./build.sh -c -m -i -p
```

### 编译选项

| 选项 | 说明 |
|------|------|
| `-h, --help` | 显示帮助信息 |
| `-a, --all` | 编译所有模块（默认） |
| `-m, --msvlm` | 只编译 MSVLM 模块 |
| `-e, --msevent` | 只编译 MSEVENT 模块 |
| `-c, --clean` | 清理 build 和 output 目录 |
| `-i, --install` | 编译后执行安装 |
| `-p, --package` | 编译后创建打包 |

## 安装目录结构

编译安装后的目录结构：

```
_install/msvlm/
├── bin/                    # 可执行文件
│   └── msvlm
├── config/                 # 配置文件
│   ├── default.json
│   ├── vlm_system_prompt.txt
│   └── requirements.txt
├── scripts/                # 运行脚本
│   ├── run.sh
│   ├── install.sh
│   └── server_integrated.py
├── web/                    # Web 界面资源
├── fw/                     # 固件文件
└── model/                  # 模型文件
```

## 输出目录

打包后的输出文件位于 `output/` 目录：

```
output/
├── msvlm/                  # MSVLM 完整包
└── msvlm.tar.gz            # MSVLM 打包文件
├── msevent/                # MSEVENT 完整包
└── msevent.tar.gz          # MSEVENT 打包文件
```

## 模块说明

### MSVLM 模块

多流视觉语言模型处理模块，主要功能：
- 多路视频流解码（支持本地文件、RTSP）
- YOLO 目标检测推理
- VLM 视觉语言模型推理
- NPU 多核负载均衡调度
- 实时视频显示输出

### MSEVENT 模块

事件检测模块（预留）。

## 依赖库

项目依赖以下第三方库：
- RKNPU2：RK3588 NPU 运行时库
- RKNN3-API：RKNN3 推理接口
- RKNN3-VLM：VLM 推理核心库
- Rockit：Rockchip 多媒体框架
- FFmpeg：音视频编解码库
- DRM：Direct Rendering Manager
- Tokenizer：文本分词库
- nlohmann/json：JSON 解析库

## 配置说明

系统配置文件位于 `_install/msvlm/config/default.json`，主要配置项：

- `pipeline.num_streams`：视频流数量
- `sources`：视频源配置
- `detector`：检测器配置
- `vlm`：VLM 配置
- `display`：显示输出配置

## 运行说明

将编译好的文件部署到 RK3588 设备后：

```bash
cd _install/msvlm
./scripts/run.sh -c config/default.json
```

## 许可证

Apache License 2.0

## 贡献指南

欢迎提交 Issue 和 Pull Request。

## 联系方式
www.ebaina.com