# OmniSpace

**Repository Path**: unbt/omni-space

## Basic Information

- **Project Name**: OmniSpace
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-10-13
- **Last Updated**: 2026-10-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README


<div align="center">

# 🚀 OmniSpace AI v2.5.0

**本地优先的全栈 AI 漫剧创作工作站**

<p align="center">
  <a href="#-界面预览">界面预览</a> •
  <a href="#-核心特性">核心特性</a> •
  <a href="#-技术栈">技术栈</a> •
  <a href="#-快速开始">快速开始</a> •
  <a href="#-内部开发流程">内部开发流程</a> •
  <a href="#-路线图">路线图</a>
</p>

<p align="center">
  <img src="https://img.shields.io/badge/Python-3.12.10-blue?logo=python" alt="Python">
  <img src="https://img.shields.io/badge/React-19.0-61dafb?logo=react" alt="React">
  <img src="https://img.shields.io/badge/FastAPI-0.141.1-009688?logo=fastapi" alt="FastAPI">
  <img src="https://img.shields.io/badge/PyTorch-2.13_cu130-ee4c2c?logo=pytorch" alt="PyTorch">
  <img src="https://img.shields.io/badge/vLLM-0.27.1-7c3aed" alt="vLLM">
  <img src="https://img.shields.io/badge/license-Proprietary-red" alt="License">
</p>

> 💡 **对话 × 漫画 × 漫剧 × 写作 × 知识学习**
> 默认全部推理在 **本地 GPU** 完成；如需更强模型，可自带 Key 选接云端 API（明确标注、可关闭）
>
> 🆕 **2026-09-19 大版本功能周**：六批共 26 项功能更新上线
> 全页面新手引导、上游变更过期标记、功能舱壁隔离与自愈阶梯、恢复指南与安全模式、
> 删除分级确认、存储清理中心、硬件健康中心、操作审计、备份加密、断电自恢复、
> 全局任务中心、Ctrl+K 全局搜索、生成物文件库、气泡五形、写作台篇幅参数与降AI味文风档。

</div>

---

## 🌟 为什么 OmniSpace 值得选择

这不是又一个 AI 玩具 —— 这是一个**完整的、工程化的、可落地的本地 AI 创作平台**。

| 亮点 | 说明 |
|------|------|
| 🎯 **真·全模态** | 文本 / 图像 / 视频 / 语音 / 知识图谱，一站式创作管线 |
| 🏠 **本地优先** | 默认所有模型推理跑在你自己的 GPU 上，数据不出本机；云端 API 是可选的自带 Key 档位（页内徽标直连配置） |
| ⚡ **显存调度器** | 自研显存协调器（账本/准入/单一编排），16GB 消费级显卡可跑各条创作链路（自动加载/卸载/互斥/让档，持续调优中） |
| 🩺 **舱壁隔离 + 自愈阶梯** | 每个重模块（对话/绘画/视频/训练）独立健康账本，连续异常自动进入恢复阶梯（重拉引擎→验证→恢复指南+安全模式兜底）；一键体检（8 项只读）+ 深度体检（27 项环境级探测）、错误必带出路指引 |
| 🧹 **数据全生命周期** | 删除分级确认（轻/中/重三要素）、存储清理中心（白名单动作）、备份加密 + 每日自动备份 + 断电自恢复、操作审计日志、垃圾产物统一盘点 |
| 🏗️ **工程质量高** | 376 个 HTTP 端点（对账闸实时核对）+ 4 条 WebSocket 状态通道；pytest **1132 用例**（GPU 集成显式开关）/ vitest **101 用例** / 文档对账闸 + 活后端 E2E 多层测试体系 |
| 🧩 **插件式推理引擎** | vLLM / llama.cpp (GGUF) / Transformers 多后端热切换；**CuteMamen 插件系统**（子进程沙箱隔离、AST 安检、三级信任徽章、免重启热重载） |
| 📚 **丰富文档** | 架构图、API 文档、部署手册、故障排查，新人友好 |

---

## 📸 界面预览

<div align="center">

**启动页 · 点火序列 HUD**（环境自检 → 后端服务 → 模型预热 → 就绪）

<img src="docs/promo/01-splash.png" width="86%" alt="启动页"/>

<br/><br/>

🎬 **[▶️ 观看演示视频 —— AI 生成漫剧成片（11 秒）](docs/promo/demo-video.mp4)**

<br/>

<table>
<tr>
<td width="50%" align="center">
<img src="docs/promo/02-dialog.png" width="100%" alt="AI 对话"/><br><sub><b>AI 对话</b> · 本地多模态推理 / 流式输出 / 深度思考</sub>
</td>
<td width="50%" align="center">
<img src="docs/promo/03-paint.png" width="100%" alt="AI 绘画"/><br><sub><b>AI 绘画</b> · FLUX.2 Klein 本地文生图 / 多比例出图</sub>
</td>
</tr>
<tr>
<td width="50%" align="center">
<img src="docs/promo/04-paint-viewer.png" width="100%" alt="出图效果"/><br><sub><b>出图效果</b> · 2688×1536 高清成图</sub>
</td>
<td width="50%" align="center">
<img src="docs/promo/05-manga-projects.png" width="100%" alt="漫剧创作"/><br><sub><b>漫剧创作</b> · 从剧本到成片的工作台</sub>
</td>
</tr>
<tr>
<td width="50%" align="center">
<img src="docs/promo/06-storyboard.png" width="100%" alt="分镜编辑器"/><br><sub><b>分镜编辑器</b> · 角色/场景/道具资产 + 四视图一致性</sub>
</td>
<td width="50%" align="center">
<img src="docs/promo/07-learning.png" width="100%" alt="知识学习"/><br><sub><b>知识学习</b> · AI 自主学习 + 知识库 RAG</sub>
</td>
</tr>
<tr>
<td width="50%" align="center">
<img src="docs/promo/08-models.png" width="100%" alt="模型管理"/><br><sub><b>模型管理</b> · 本地模型装载 / 显存监控 / 就绪体检</sub>
</td>
<td width="50%" align="center">
<img src="docs/promo/09-settings.png" width="100%" alt="设置"/><br><sub><b>个性化</b> · 双主题族 × 亮暗模式</sub>
</td>
</tr>
<tr>
<td width="50%" align="center">
<img src="docs/promo/10-logs.png" width="100%" alt="系统日志"/><br><sub><b>系统日志</b> · 大白话事件时间线 + 异常聚合</sub>
</td>
<td width="50%" align="center">
<img src="docs/promo/11-help.png" width="100%" alt="帮助"/><br><sub><b>帮助中心</b> · 功能总览 + 新手五步上手</sub>
</td>
</tr>
</table>

</div>

---

## ✨ 核心特性

### 🎨 AI 漫画（Comic）
- **参考图角色一致性**：角色参考图锚定跨格统一（角色 LoRA 当前接入漫剧关键帧链；漫画分格链接入见未完成清单）
- **四视图生成**：角色设定图一键出三视图/四视图
- **AI 写分格**：从剧本文本自动划分漫画格（2/4/6/8/12 格可选）
- **台词气泡五形**：💬对话 / 🎬旁白 / 💭思考 / 💥喊叫 / 🤫低语 五种形状一键切换，拖拽定位 + 把手拉伸宽度，导出成册同步烘入
- **资产库**：角色 / 场景 / 道具三页签，支持上传与 AI 生成、批量删除、SAM AI 抠图
- **大图预览**：分格图与资产卡单击放大灯箱、右击直接下载原图
- **整页导出与阅读预览**：PNG 长图 / PDF 每格一页 / PDF 2×2 拼版

### 🎬 AI 漫剧（Manga）
- **分镜编辑器**：剧情 → 分镜 → 资产 → 关键帧 → 视频 → 成片全链路，五步工序条实时联动
- **多角色一致性**：跨镜形象统一（双硬锁并发保护 + 角色 LoRA 身份锁）
- **上游变更过期标记**：改描述词 / 换画风 / 更新资产后，受影响的旧图自动亮「已过期」角标，一键批量重生成
- **视频生成**：主力 MiniMax H3 多镜链式生成（本地 ComfyUI 推理），Wan2.2-ti2v-5b 图生视频补档；视频队列排队/取消/进度可视
- **生成记录**：图片与视频双页签，成功/失败/耗时/模型/seed 全字段留痕，失败一键重试
- **镜头语言结构化**：A/B/C 三段式提示词 + 中文导演运镜 + 台词行 + AI 提示词自定义注入
- **风格包**：30 个预置视频/画风风格包，一键套用，自定义风格包导入
- **资产库管理**：角色、场景、道具系统化管理（描述词生成/AI 抠图/音色绑定/转全局跨项目复用）

### 💬 AI 对话（Dialog）
- 多引擎本地对话（vLLM / llama.cpp GGUF / Transformers，按显存自动路由）
- 流式输出（WebSocket 实时帧推送），打字机效果
- 深度思考双通道（推理过程与正文分离呈现）
- 上下文记忆 + 知识库 RAG（可调温度 / 上下文长度，随模型能力自动适配附件入口）
- 图片（多图对比理解）与文档（txt/md/docx/pdf）上传，插件技能即焚注入
- 排队不秒拒、自动降级明示（装不下的模型自动换档并提示）
- 会话管理：重命名/置顶/搜索/批量删除/消息评分反馈

### ✍️ 写作台（Novel）
- **篇幅规划三参数**：计划章数 / 每章目标字数 / 卷数——大纲出纲与正文生成真实吃参数（附快捷档一键填）
- **降AI味文风三档**：标准 / 拟真·轻 / 拟真·重（低频词、禁模板比喻、情感层次、句长错落、人物语气区分），同章可对照
- **AI 大纲树**：灵感 → 卷/章细纲，逐节点可改可删，重新生成带覆盖确认
- **生成未完成章节**：批量补缺不覆盖已完成，队列可视可取消
- **角色 / 伏笔 / 世界观**：AI 设计角色吃补充要求、伏笔烂尾预警、世界观导入知识库联动正文
- **整本导出** TXT / MD，批量删除作品

### 🧠 知识学习（Learn）
- 文档 / 图片自动向量化入库（多道入库质检闸）
- RAG 检索增强生成（向量 + FTS5 全文 + RRF 融合）
- 知识图谱可视化，知识库批量删除 + 图片知识管理
- 浏览器代理自主上网学习（AI 控制 ↔ 用户接管即时切换）
- **学习分析报表**：效率/来源/趋势/主题对比，实时轮询刷新
- **学习配额可设置**：知识库容量上限自定义，接近上限预警
- 行为学习微调（操作偏好沉淀，手动触发）

### 🔊 语音能力（Voice）
- TTS 文字转语音（Windows SAPI5 本地语音）+ Whisper 本地语音识别
- 自定义音色上传（wav/mp3/flac/m4a ≤20MB），已内置于漫剧配音链路
- AI 声音克隆为规划中功能（本地开源栈调研阶段）

### 🧩 插件系统（Plugins）
- **CuteMamen 包格式**：自包含 tar.gz（manifest + 权重 + 三级记忆），支持纯数据档与含源码档
- **分级安全模型**：出厂件（进程内·已审查）/ 用户纯数据（进程内）/ 用户含源码（**子进程沙箱**——超时硬杀、内存上限、崩溃不连坐后端）
- **导入链**：AST 静态安检 + 大白话确认门 + 试装载 + 失败清场
- **信任徽章**：三档可视化（蓝盾出厂/绿库纯数据/橙盾含源码）
- **产品接线**：对话/小说/漫画三端技能插座（chat/novel/comic skill；出厂技能面为空——宁缺毋滥）、Rust 编译错误分类（演示件）

### 🖥 系统与运维
- **新手引导 + 快捷键**：十个功能页统一引导（首访自动弹 / 悬浮?随时重看）；Ctrl+K 全局搜索（七类目标一处搜）、Alt+数字切模块、Alt+N 新建对话
- **全局任务中心**：跨模块任务统一排队 / 取消 / 进度（顶栏铃铛直达），通知历史留痕可回看
- **生成物文件库**：图片 / 关键帧 / 视频 / 导出件一处浏览下载，灯箱预览
- **存储清理中心**：磁盘占用盘点 / 白名单一键清理 / 备份文件管理
- **硬件健康中心**：显存 / 内存 / 温度 / 磁盘四仪表三色预警 + 硬件自检（驱动版本 / 外部模型可达性）
- **操作审计日志**：删除 / 导出 / 设置变更 / 云端连接 / 激活解绑全留痕可查
- **数据安全底座**：备份加密（AES-GCM）+ 每日自动备份 + 断电自恢复（挂死任务清扫）+ 密钥保险箱（云端 Key 加密存放、日志与诊断包脱敏）
- **睡眠保护**：生成 / 训练持锁期间自动阻止系统睡眠，结束即恢复
- **删除分级确认**：轻 / 中 / 重三级模板（删什么 / 留什么 / 可否反悔三要素），全应用统一

---

## 🛠 技术栈

| 层级 | 技术 |
|------|------|
| **前端** | React 19.0 + TypeScript + Vite 6 + Tailwind CSS v4 + Zustand 5 + React Router 7（Hash 路由，六主题族可切换） |
| **后端** | FastAPI 0.141.1 + Pydantic v2 + uvicorn（Python 3.12.10 嵌入式 runtime） |
| **AI 推理** | PyTorch 2.13 (cu130) + Diffusers + Transformers；对话引擎 vLLM 0.27.1 子进程（py313）与 llama.cpp GGUF / Transformers 热切换 |
| **数据库** | SQLite (WAL) + ChromaDB + FTS5 全文检索 |
| **存储加密** | AES-256-GCM 字段级加密（对话正文/行为日志）+ DPAPI 密钥保护 |
| **交付形态** | launcher 守护进程 + 系统浏览器 / 内嵌 WebView 壳（设置页可选）；Tauri 已于 2026-08-20 经 [ADR-002](docs/ADR-002-tauri-shell-decision.md) 裁剪 |
| **测试** | pytest（1132 用例，GPU 集成显式开关）+ vitest（101 用例）+ 活后端 E2E 流程编排 |
| **代码质量** | ruff + mypy 基线闸（只增不减）+ 文档对账闸（doc_claims.json 哨兵）+ pre-commit 五步闸 |

---

## 📁 项目结构

```
OmniSpace/
├── src/               # 后端 + 内核统一扁平包（原 src/ + DistributedFormer 内核）
│   ├── api/               # 路由层（dialog / comic / manga / novel / learn / models …）
│   ├── services/          # 业务层 + 推理引擎 + 模型管理（含 Transformers 后端）
│   ├── engines/           # 资源层（GPU / VRAM / 内存管理）
│   ├── data/              # 存储层（DB / 向量 / 全文 / 图谱 / 加密）+ Rust 训练语料
│   ├── middleware/        # 横切层（错误处理 / 限流 / 互斥锁 / CORS）
│   ├── core/              # 内核层：DistributedFormer 脉冲主模型（CubeGPT）
│   ├── cutemamen/         # 内核层：CuteMamen 插件内核（路由/生命周期/三级记忆/包格式）
│   ├── codec/             # 内核层：脉冲 / 多模态编解码
│   └── training/          # 内核层：主模型 → 插件 知识迁移读出层
├── plugin/            # CuteMamen 插件包（.CuteMamen，自包含：manifest+权重+记忆）
├── frontend/              # React SPA
├── launcher/              # 启动守护进程（自检/端口/心跳/重启/启动页）
├── docs/                  # 完整文档（含 AGENTS.md / CLAUDE.md）
├── tools/                 # 构建与诊断脚本（第三方工具树不入库）
└── tests/                 # tests/unit 单元测试 + E2E 流程编排
```

---

## 🚀 快速开始

### 前置要求

- Windows 10/11
- NVIDIA GPU（≥ 16GB 显存 = 完整体验档；12GB = 降级体验档，自动走降级链）
- CUDA 12.x
- ≥ 50GB 磁盘空间（模型文件）

### 启动

```powershell
# 进入项目目录（公开仓库）
cd E:\OmniSpace

# 方式一：双击 启动OmniSpace.bat（免黑窗可用桌面快捷方式）

# 方式二：命令行启动（需先配置模型文件，详见部署手册）
runtime\py312\python.exe launcher\launcher.py
```

浏览器会自动打开 `http://127.0.0.1:8765`

> 端口说明：launcher 默认 `--port 8765`（冲突时先清理残留进程，再扫描 5800–5835 递进）；
> 开发模式直接跑 uvicorn 时用 `config.yaml` 里的 5800。

### 开发模式

```powershell
# 后端（端口 5800）
runtime\py312\python.exe -m uvicorn src.main:app --reload

# 前端（端口 5173，自动代理 API）
cd frontend
pnpm install
pnpm dev
```

---

## 🤝 开发流程

公开仓库，仅协作开发。

### 💡 协作方向

| 方向 | 适合人群 | 入门难度 |
|------|---------|---------|
| 🐛 **Bug 修复** | 所有人 | ⭐ |
| 📝 **文档完善** | 技术写作爱好者 | ⭐ |
| 🎨 **UI/UX 优化** | 前端/设计师 | ⭐⭐ |
| 🔧 **新功能开发** | 全栈开发者 | ⭐⭐⭐ |
| 🧠 **模型集成** | AI 算法工程师 | ⭐⭐⭐⭐ |
| ⚡ **性能优化** | 资深工程师 | ⭐⭐⭐⭐ |

### 🚀 快速上手

1. **创建分支**
   ```bash
   git checkout -b feature/你的功能名
   ```
2. **提交更改**
   ```bash
   git commit -m "feat: 添加了什么功能"
   ```
3. **本地合并**（自测通过后合回 main）
   ```bash
   git checkout main && git merge feature/你的功能名
   ```

### 📋 上手建议

想找容易上手的任务？关注以下方向：
- 前端 UI 细节优化（动画、交互、响应式）
- 后端 API 补充单元测试
- 文档翻译与润色
- 添加更多模型支持

### 📐 代码规范

- 后端：遵循 `ruff.toml` 配置，提交前跑 `ruff check`
- 前端：TypeScript strict 模式，遵循项目已有代码风格
- 提交信息：`feat: / fix: / docs: / refactor: / perf:` 前缀

---

## 🗺 路线图（Roadmap）

> 项目处于**持续开发中**：以下清单只代表"到今天为止做了什么"，不代表"做完了"。
> 功能均可打磨，发现问题欢迎提 Issue / 直接动手修。

### 🧩 当前已具备的能力（不代表完成，持续打磨中）
- [x] 基础架构搭建（FastAPI + React）
- [x] AI 对话模块（多引擎本地推理 + RAG 混合检索 + 排队与降级明示）
- [x] AI 漫画模块（参考图一致性 / 角色 LoRA / AI 分格 / 台词气泡 / 整页导出 / 资产库 / SAM AI 抠图）
- [x] 漫剧创作模块（分镜→资产→关键帧→视频链路已可跑通，MiniMax H3 链式生成主力）
- [x] 写作台（小说/剧本创作，剧本直通漫画与漫剧）
- [x] 知识学习与 RAG（ChromaDB + FTS5 + RRF 融合，图片知识入库，学习分析报表）
- [x] 显存协调器（账本/准入/编排重构）与功能互斥锁（跨线程安全）
- [x] 一键体检与自愈机制（8 项只读 + 27 项深度体检、错误出路指引、崩溃取证快照、自动备份）
- [x] 可选云端 API 接入（文本 / 图像可用，自带 Key）
- [x] 多主题族界面（含治愈系「Dali·风花雪月」六态主题）
- [x] 模型性能基准与 LoRA 版本管理（BenchmarkCard / 版本对比/回滚）
- [x] 风格训练控制（暂停/恢复/取消，epoch 检查点挂起不丢进度）
- [x] 插件系统 P1/P2/P3（导入/启停/删除/子进程沙箱/AST 安检/漫剧快速预览）
- [x] 系统运维底座（存储清理中心 / 硬件健康中心 / 操作审计 / 备份加密 / 断电自恢复 / 密钥保险箱）
- [x] 全局任务中心 + Ctrl+K 全局搜索 + 生成物文件库
- [x] **功能舱壁隔离 + 自愈阶梯 + 恢复指南 + 安全模式**（单模块异常不连坐，自动修复失败给分步人话指南）
- [x] **上游变更过期标记**（描述词/画风/资产变更 → 旧产物自动亮灯 + 批量重生成）
- [x] **新手引导系统**（十页统一：首访自动 / 悬浮重看 / 可隐藏重启恢复）+ Alt 快捷键体系
- [x] **删除分级确认规范**（轻/中/重三要素模板全应用统一）
- [x] **写作台增强**（篇幅规划三参数 / 降AI味文风三档 / 作品批量删除）
- [x] **漫画气泡五形形状库**（对话/旁白/思考/喊叫/低语）
- [x] **学习增强**（分析报表实时轮询 / 知识库容量配额可设置）
- [x] **通知历史中心**（重要提醒弹完不丢，铃铛回看）
- [x] **插件热重载 + 卸载残留报告**

> 注：图生 3D（TripoSR）后端管线与 3D 导演台曾实现，后者已于 2026-08-29 裁定整链路剔除；/art 视觉工具端点后端保留。上表各项均为"可运行"状态，效果与稳定性仍在迭代。

### 🔄 进行中
- [ ] 联网搜索 v1（免费双通道：无头浏览器自搜 + SearXNG 自建）
- [ ] 模型下载管理器（/models/download 前端接线）
- [ ] 项目导入导出与备份恢复 UI
- [ ] 语音克隆本地实现（开源栈调研中）
- [ ] 多显卡实机验证

### 🔮 规划中
- [ ] OSP↔内核插件实例合流（单实例双面服务）
- [ ] 多人协作创作
- [ ] 社区素材共享平台
- [ ] Linux / macOS 支持
- [ ] 更多模型生态接入

> 💡 **有想法？直接在团队内部讨论！** 我们非常欢迎新的创意和建议。

---

## 📚 文档索引

| 文档 | 内容 | 何时看 |
|------|------|--------|
| [部署手册](docs/deployment-manual.md) | 硬件要求、环境装配、模型配置 | 第一次部署 |
| [开发者快速上手指南](docs/开发者快速上手指南.md) | **从克隆到联调/测试/提交的开发环境逐步搭建** | 第一次参与开发 |
| [架构总览](docs/design/architecture-overview.md) | 分层结构、中间件链、数据流 | 理解系统设计 |
| [API 端点总表](docs/design/api-endpoints.md) | HTTP / WS 端点文档（快照，增量以代码为准） | 开发对接 |
| [数据库 ER](docs/design/database-er.md) | 数据库表结构与迁移说明 | 数据库相关 |
| [故障排查](docs/troubleshooting.md) | OOM / 端口冲突 / 模型加载失败 | 出问题时 |
| [需求追踪矩阵](docs/requirements-traceability.md) | 功能/模块/架构/工程四类需求追踪 | 查需求状态 |

---

## 📄 License

版权所有 © 2026 OmniSpace。保留所有权利（All Rights Reserved）。

**本项目仅供学习使用，商业授权请+Q 3559331368。**

本项目为半开源软件，未经授权不得复制、分发、反向工程或二次开发，仅供学习，未经授权不得商业行为（除非成为技术合伙人共同开发）。正式商业授权协议（EULA）随发行版提供。

---

<div align="center">

**用 AI 释放创作力 · OmniSpace**

Made with ❤️ by the OmniSpace Team

</div>