# llm-hub

**Repository Path**: SteHub/llm-hub

## Basic Information

- **Project Name**: llm-hub
- **Description**: 
一个支持多种LLM提供商的统一调用库，提供一致的API接口、命令行工具和图形界面。
- **Primary Language**: Unknown
- **License**: GPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-04-06
- **Last Updated**: 2026-04-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLM Hub - 统一的LLM调用库

[![English](https://img.shields.io/badge/Switch_English-README.md-blue.svg)](README.md)
[![中文](https://img.shields.io/badge/Switch_中文-README_zh.md-red.svg)](README_zh.md)
[![PyPI version](https://img.shields.io/pypi/v/gracefox-llm-hub.svg)](https://pypi.org/project/gracefox-llm-hub/)
[![Python versions](https://img.shields.io/pypi/pyversions/gracefox-llm-hub.svg)](https://pypi.org/project/gracefox-llm-hub/)
[![License](https://img.shields.io/github/license/GraceFox/llm-hub.svg)](LICENSE)

一个支持多种LLM提供商（国际厂商 + 国产AI）的统一调用库，提供一致的API接口。

> 📖 **API参考文档请查看 [docs/](docs/) 目录**

## ✨ 特性

- 🔌 **统一API** - 一个接口调用所有LLM提供商
- 🌍 **多提供商支持** - OpenAI、DeepSeek、Kimi、Gemini、Claude等
- 🇨🇳 **国产AI支持** - 通义千问(Qwen)、智谱GLM、百度文心(ERNIE)、MiniCPM
- 💻 **本地部署** - Ollama、llama.cpp
- 🤔 **思考模式** - 显示推理过程（DeepSeek支持）
- 📊 **精确Token计数** - 各厂商官方Tokenizer
- 📡 **流式输出** - 实时生成响应
- 📁 **文件上传** - 支持PDF、Word、Excel、PPT、图片OCR等多种格式
- 💾 **配置管理** - JSON/YAML配置、配置档案、环境变量
- 🔌 **插件系统** - 支持第三方Provider扩展

## 📋 支持的提供商

| 提供商 | 类型 | Token计数 | 思考模式 |
|--------|------|-----------|----------|
| **OpenAI** | 云端 | ✅ tiktoken | ❌ |
| **DeepSeek** | 云端 | ✅ deepseek-tokenizer | ✅ |
| **Kimi (月之暗面)** | 云端 | ✅ API | ❌ |
| **Google Gemini** | 云端 | ⚠️ 估算 | ❌ |
| **Anthropic Claude** | 云端 | ⚠️ 估算 | ❌ |
| **通义千问 (Qwen)** | 云端 | ✅ transformers | ❌ |
| **智谱GLM** | 云端 | ✅ transformers | ❌ |
| **百度文心 (ERNIE)** | 云端 | ✅ transformers | ❌ |
| **MiniCPM** | 云端/本地 | ✅ transformers | ❌ |
| **Ollama** | 本地 | ✅ API tokenize | ❌ |
| **llama.cpp** | 本地 | ✅ 子进程 | ❌ |

## 📁 支持的文件格式

| 类别 | 格式 | 依赖 |
|------|------|------|
| 文本 | .txt, .md, .json, .csv | 内置 |
| 代码 | .py, .js, .java, .go, .cpp 等 | 内置 |
| 文档 | .pdf, .docx, .xlsx, .pptx | 可选 |
| 图片 | .png, .jpg, .jpeg (OCR) | 可选 |
| 网页 | .html, .xml | 可选 |
| 配置 | .yaml, .toml, .ini | 可选 |
| 电子书 | .epub | 可选 |

## 🚀 安装

```bash
# 基础安装
pip install gracefox-llm-hub

# 安装环境感知支持（系统资源监控）
pip install gracefox-llm-hub[env]

# 安装精确Token计数
pip install gracefox-llm-hub[tokenizers]

# 安装文件上传支持（全部）
pip install gracefox-llm-hub[files-all]

# 安装全部功能
pip install gracefox-llm-hub[all]
```

## ⚙️ 配置

支持JSON/YAML配置文件、环境变量、代码参数等多种配置方式。

```json
{
    "provider": "deepseek",
    "model": "deepseek-chat",
    "api_key": "your-api-key",
    "temperature": 0.7,
    "max_tokens": 2000,
    "reasoning": true,
    "stream": true
}
```

配置优先级（从低到高）：默认配置 → 环境变量 → 配置档案 → 配置文件 → JSON字符串 → 代码参数

## 📦 项目结构

```
llm-hub/
├── llm_hub/
│   ├── core/           # 核心功能（客户端、枚举、异常）
│   ├── config/         # 配置管理（配置类、管理器、安全加密）
│   ├── models/         # 数据模型（消息、对话、响应）
│   ├── providers/      # 提供商实现（基类、工厂、各厂商）
│   ├── environment/    # 环境感知（可选，系统资源监控）
│   └── utils/          # 工具模块
│       ├── file_loader/    # 文件上传（多格式支持）
│       ├── stream_handler/ # 流式处理
│       ├── rate_limiter/   # 速率限制
│       └── logger.py       # 日志系统
├── docs/               # API参考文档
├── examples/           # 示例代码
└── pyproject.toml      # 项目配置
```

## 🔧 开发

```bash
# 开发模式安装
pip install -e .[dev,all]

# 代码格式化
black llm_hub/

# 代码检查
ruff check llm_hub/

# 类型检查
mypy llm_hub/
```

## 🔌 插件系统

支持第三方Provider扩展，通过entry points机制自动发现。

```python
# setup.py
setup(
    entry_points={
        "llm_hub.providers": [
            "my_provider = my_package:MyProvider",
        ]
    }
)
```

## 🤝 贡献

欢迎贡献代码！请随时提交Pull Request。

## 📄 许可证

GNU General Public License v3.0

## 📧 联系方式

- 作者: GraceFox
- 邮箱: 948743980@qq.com
- 主页: https://gitee.com/SteHub/llm-hub

---

## 快速参考

### 安装选项

| 选项 | 说明 | 依赖 |
|------|------|------|
| `[env]` | 环境感知 | psutil |
| `[tokenizers]` | 精确Token计数 | tiktoken, transformers |
| `[secure]` | 安全加密 | cryptography |
| `[yaml]` | YAML配置 | pyyaml |
| `[files-all]` | 全部文件支持 | pypdf, python-docx, openpyxl 等 |
| `[all]` | 全部功能 | 以上所有 |

### 支持的提供商

| 提供商 | 配置值 | 示例模型 |
|--------|--------|----------|
| OpenAI | `openai` | `gpt-3.5-turbo` |
| DeepSeek | `deepseek` | `deepseek-chat` |
| Kimi | `kimi` | `moonshot-v1-8k` |
| 通义千问 | `qwen` | `qwen-turbo` |
| 智谱GLM | `glm` | `glm-4-flash` |
| 百度文心 | `ernie` | `ernie-3.5-8k` |
| Ollama | `ollama` | `llama2` |
| llama.cpp | `llama_cpp` | `llama-2-7b` |

### API密钥获取

| 提供商 | 获取地址 |
|--------|----------|
| OpenAI | https://platform.openai.com/api-keys |
| DeepSeek | https://platform.deepseek.com/api_keys |
| Kimi | https://platform.moonshot.cn/console/apiKey |
| 通义千问 | https://dashscope.console.aliyun.com/apiKey |
| 智谱GLM | https://open.bigmodel.cn/usercenter/apikeys |
| 百度文心 | https://console.bce.baidu.com/ai_platform/ |

---

> 📖 **完整的API参考文档、使用示例请查看 [docs/](docs/) 目录**

**⭐ 如果觉得有用，请在Gitee上给本项目点个Star！**