# LLMHub

**Repository Path**: grow-project/llmhub

## Basic Information

- **Project Name**: LLMHub
- **Description**: LLMHub 是一个企业级 AI 应用基础设施平台，为内部 AI 应用提供可复用的模型接入、智能路由、RAG 知识库、提示词管理、可观测性、评测、安全防护与成本治理能力
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: feature/llmhub-foundation
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-06-28
- **Last Updated**: 2026-06-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLMHub

LLMHub 是一个企业级 AI 应用基础设施平台，为内部 AI 应用提供可复用的模型接入、智能路由、RAG 知识库、提示词管理、可观测性、评测、安全防护与成本治理能力。

当前版本是本地可运行的最小可用版本（MVP）：默认使用本地模拟模型提供方和内存仓储，便于在没有真实模型密钥的情况下开发、测试和演示。PostgreSQL、Redis、MinIO、RabbitMQ、Prometheus 与 Grafana 等基础设施已经通过 Docker Compose 准备好，后续可逐步替换为生产级实现。

## 前置要求

- Go 1.26+
- Docker 与 Docker Compose
- [rtk](https://github.com/jdx/rtk)（用于统一代理本地命令执行）

## 部署与启动

### 1. 启动基础设施

启动 PostgreSQL、Redis、MinIO、RabbitMQ、Prometheus 与 Grafana：

```bash
rtk make docker-up
# 或：rtk docker compose up -d
```

### 2. 执行数据库迁移

将 SQL 迁移应用到 PostgreSQL：

```bash
rtk make migrate-up
```

### 3. 配置应用（可选）

默认配置位于 `configs/config.yaml`。若需通过环境变量覆盖，可复制示例文件：

```bash
rtk cp .env.example .env
```

主要配置项：

| 变量 | 默认值 | 说明 |
| --- | --- | --- |
| `LLMHUB_SERVER_ADDR` | `:8080` | HTTP 监听地址 |
| `LLMHUB_DATABASE_DSN` | `postgres://llmhub:llmhub@localhost:15432/llmhub?sslmode=disable` | PostgreSQL 连接串 |
| `LLMHUB_REDIS_ADDR` | `localhost:16379` | Redis 地址 |
| `LLMHUB_CONFIG` | `configs/config.yaml` | 配置文件路径 |

### 4. 启动应用

```bash
rtk make run
```

接口服务默认监听 `http://localhost:8080`。

### 5. 验证

```bash
rtk curl http://localhost:8080/healthz
```

预期响应：`{"status":"ok"}`

### 本地服务端口

| 服务 | 地址 |
| --- | --- |
| LLMHub 接口服务 | `localhost:8080` |
| PostgreSQL | `localhost:15432` |
| Redis | `localhost:16379` |
| MinIO 接口 / 控制台 | `localhost:19000` / `localhost:19001` |
| RabbitMQ AMQP / 控制台 | `localhost:15673` / `localhost:15674` |
| Prometheus | `localhost:19090` |
| Grafana | `localhost:13000` |

### 停止

```bash
# 使用 Ctrl+C 停止应用，然后关闭基础设施：
rtk make docker-down
```

## 本地开发

```bash
rtk make test
```

在对接真实依赖进行开发前，请先完成上述完整启动流程。

## 当前进度

- [x] 项目初始化
- [x] 本地基础设施
- [x] LLM 网关最小可用版本（MVP）
- [x] RAG 知识库最小可用版本（MVP）
- [x] 评测、可观测性与安全治理

## 已实现能力

- 统一聊天接口，默认接入本地模拟模型提供方
- 聊天、向量化、重排序的模型提供方抽象
- 智能模型路由策略
- 提示词模板渲染与内存仓储
- 请求日志、配额、限流与请求缓存原语
- RAG 知识库仓储、入库、分块、向量化、向量检索、BM25 风格词法检索、混合检索、重排序与带引用答案生成
- 评测评分、可观测性成本估算、指标原语与安全检查

## 文档

- [项目说明索引](docs/project-overview.md)
- [架构说明](docs/architecture.md)
- [接口说明](docs/api.md)
- [运维手册](docs/runbook.md)