本地 AI 智能体平台 - 语音交互、多层级 Agent、隐私优先
--- ## 特性 - 🎤 **语音优先交互** - 支持实时语音输入和转录 - 🤖 **4 级 Agent 系统** - Simple / Assistant / Expert / Reasoning - ⚡ **本地处理** - 基于 Ollama，无需云端服务 - 🔒 **隐私保护** - 所有数据本地存储 - 🖥️ **现代前端** - Next.js 15 + TypeScript + Tailwind CSS - 🧠 **智能编排** - 自动选择最适合的 Agent 级别 ## 快速开始 ### 环境要求 - Python 3.10+ - Node.js 18+ - 16GB+ RAM (推荐) - Intel Core Ultra / Apple Silicon (推荐) ### 安装依赖 ```bash # 后端依赖 pip install -r backend/requirements.txt # 前端依赖 cd frontend && npm install ``` ### 启动服务 ```bash # 1. 启动 Ollama ollama serve # 2. 启动后端服务 (port 8000) python backend/main.py # 3. 启动前端 (port 3000) cd frontend && npm run dev ``` 访问 http://localhost:3000 开始使用 ## 配置 项目使用 `.env` 文件进行配置，支持 FunASR、OCR、OLLAMA 等服务的配置。 ### 配置步骤 1. **复制配置文件**： ```bash cp .env.example .env ``` 2. **编辑 `.env` 文件**，主要配置项： - `ASR_PROVIDER=funasr_ws` - ASR 服务提供者（WebSocket 模式） - `ASR_WS_URL=ws://localhost:10095` - FunASR WebSocket 服务地址 - `OCR_PROVIDER=paddleocr` - OCR 服务提供者 - `OLLAMA_BASE_URL=http://localhost:11434` - Ollama 服务地址 - `INTEL_ENABLED=true` - 启用 Intel 优化（Intel Ultra 处理器） 3. **环境变量说明**： - **ASR 配置**：语音转文字服务，支持 FunASR WebSocket 模式 - **OCR 配置**：图像文字识别，使用 PaddleOCR - **Ollama 配置**：本地大模型服务，支持 Intel XPU 加速 - **性能配置**：缓存、内存限制、Intel 优化 4. **验证配置**： ```bash python scripts/verify_config.py ``` ### 开发工具配置 项目已配置 pre-commit hooks，确保代码质量： ```bash # 安装开发工具 bash scripts/setup_dev_tools.sh # 手动运行代码检查 pre-commit run --all-files ``` 支持的检查工具：black (代码格式化)、isort (导入排序)、ruff (代码检查)、mypy (类型检查)、bandit (安全扫描)。 ## 性能监控 项目内置性能监控功能，跟踪响应时间和资源使用： ### 监控指标 - **Agent 响应时间**：按级别（Simple/Assistant/Expert/Reasoning）统计响应时间 - **Token 使用**：估算每次调用的 token 数量 - **工具调用**：ASR、OCR、代码分析工具的调用统计和响应时间 - **成功率**：调用成功率和错误统计 ### 访问监控数据 1. **Metrics 端点**：`GET /metrics` ```bash curl http://localhost:8000/metrics ``` 2. **返回数据示例**： ```json { "timestamp": "2025-02-14T10:30:00", "agent_metrics": { "simple": { "total_calls": 10, "success_rate": 1.0, "response_times": { "avg_ms": 125.5, "min_ms": 100.0, "max_ms": 200.0, "p95_ms": 180.2 } } }, "tool_metrics": { "asr": { "total_calls": 5, "success_rate": 0.8, "response_times": { "avg_ms": 150.3, "min_ms": 120.0, "max_ms": 200.0 } } } } ``` 3. **配置选项**（通过环境变量）： - `ENABLE_METRICS=true`（默认启用） - `METRICS_RETENTION_MINUTES=60`（数据保留时间） ### 使用场景 - **性能调优**：识别响应时间过长的 Agent 级别 - **容量规划**：根据 token 使用估算系统负载 - **故障排查**：监控成功率下降和错误模式 ## 架构 ``` ┌─────────────────────────────────────────────────────┐ │ Frontend (Next.js 15) │ │ ┌──────────────┐ ┌──────────────┐ ┌────────────┐ │ │ │ Voice UI │ │ Agent Config │ │ Dev Tools │ │ │ └──────┬───────┘ └──────┬───────┘ └─────┬──────┘ │ └─────────┼──────────────────┼────────────────┼────────┘ │ │ │ HTTP/WS └──────────────────┴────────────────┘ │ ┌─────────▼──────────┐ │ Unified Backend │ │ FastAPI (Port │ │ 8000) │ │ │ │ ┌──────────────┐ │ │ │ /api/agent │ │ │ │ /api/tool │ │ │ │ /api/knowledge│ │ │ └──────┬───────┘ │ └─────────┼──────────┘ │ ┌────────────────────┼────────────────────┐ │ │ │ ┌────▼─────┐ ┌─────▼──────┐ ┌─────▼──────┐ │ Ollama │ │ SQLite │ │ ChromaDB │ │ LLM │ │Conversations│ │ Vectors │ └──────────┘ └────────────┘ └────────────┘ ``` ## 文档 - [UX 设计文档](ux/frontend-ux-design.md) - 完整的界面设计规范 - [技术架构](docs/plans/2025-02-13-local-ai-platform-design.md) - 系统设计文档 - [API 文档](http://localhost:8000/docs) - FastAPI 自动生成的 API 文档 ## 许可证 MIT License - 详见 [LICENSE](LICENSE) 文件 ---Built with ❤️ for local AI