# Ollama的隐私优先替代方案
### 🔒 本地AI，无锁定 🚀
[](https://opensource.org/licenses/MIT)
[](https://github.com/Michael-A-Kuykendall/shimmy/security)
[](https://crates.io/crates/shimmy)
[](https://crates.io/crates/shimmy)
[](https://rustup.rs/)
[](https://github.com/Michael-A-Kuykendall/shimmy/stargazers)
[](https://github.com/sponsors/Michael-A-Kuykendall)
**Shimmy将永远免费。** 没有星号，没有"暂时免费"，没有转向付费。
### 💝 支持Shimmy的发展
🚀 **如果Shimmy对您有帮助，请考虑[赞助](https://github.com/sponsors/Michael-A-Kuykendall) - 100%的支持将用于保持其永远免费。**
- **$5/月**: 咖啡层级 ☕ - 永恒的感激 + 赞助者徽章
- **$25/月**: Bug优先处理 🐛 - 优先支持 + 名字列入[SPONSORS.md](SPONSORS.md)
- **$100/月**: 企业支持者 🏢 - Logo展示 + 每月办公时间
- **$500/月**: 基础设施合作伙伴 🚀 - 直接支持 + 路线图输入
[**🎯 成为赞助者**](https://github.com/sponsors/Michael-A-Kuykendall) | 查看我们优秀的[赞助者](SPONSORS.md) 🙏
---
## 本地LLM的即插即用OpenAI API替代方案
Shimmy是一个**5.1MB的单二进制文件**，为GGUF模型提供**100% OpenAI兼容的端点**。将您现有的AI工具指向Shimmy，它们就能正常工作 - 本地化、私有化且免费。
## 🤔 您正在用Shimmy构建什么？
**包含新的开发者工具和规范！** 无论您是分叉Shimmy用于应用程序还是将其作为服务集成，我们现在提供：
- **🔧 集成模板**: 在项目中嵌入Shimmy的复制粘贴指南
- **📋 开发规范**: 用于规划基于Shimmy功能的GitHub Spec-Kit方法
- **🛡️ 架构保证**: 确保Shimmy保持可靠和轻量的宪法原则
- **📖 完整文档**: 构建Shimmy基础所需的一切
**正在用Shimmy构建很酷的东西？** 这些工具帮助您系统可靠地完成。
### 🚀 **GitHub Spec-Kit集成**
Shimmy现在包含[GitHub全新的Spec-Kit方法](https://github.com/github/spec-kit) - 规范驱动的开发，于2025年9月刚刚推出！获得专业级的开发工作流：
- **🏗️ 系统化开发**: `/specify` → `/plan` → `/tasks` → 实现
- **🤖 AI原生工作流**: 与Claude Code、GitHub Copilot和其他AI助手配合使用
- **📋 专业模板**: 完整的规范和规划框架
- **🛡️ 宪法保护**: 内置治理和架构验证
[**📖 完整开发者指南 →**](DEVELOPERS.md) • [**🛠️ 学习GitHub Spec-Kit →**](https://github.com/github/spec-kit)
### 30秒内试用
```bash
# 1) 安装 + 运行
cargo install shimmy --features huggingface
shimmy serve &
# 2) 查看模型并选择一个
shimmy list
# 3) 测试OpenAI API
curl -s http://127.0.0.1:11435/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model":"REPLACE_WITH_MODEL_FROM_list",
"messages":[{"role":"user","content":"用5个词打招呼。"}],
"max_tokens":32
}' | jq -r '.choices[0].message.content'
```
## 🚀 与您现有工具配合使用
**无需代码更改** - 只需更改API端点：
- **VSCode扩展**: 指向 `http://localhost:11435`
- **Cursor编辑器**: 内置OpenAI兼容性
- **Continue.dev**: 即插即用的模型提供者
- **任何OpenAI客户端**: Python、Node.js、curl等
### 与OpenAI SDK一起使用
- Node.js (openai v4)
```ts
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "http://127.0.0.1:11435/v1",
apiKey: "sk-local", // 占位符，Shimmy会忽略它
});
const resp = await openai.chat.completions.create({
model: "REPLACE_WITH_MODEL",
messages: [{ role: "user", content: "用5个词打招呼。" }],
max_tokens: 32,
});
console.log(resp.choices[0].message?.content);
```
- Python (openai>=1.0.0)
```python
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:11435/v1", api_key="sk-local")
resp = client.chat.completions.create(
model="REPLACE_WITH_MODEL",
messages=[{"role": "user", "content": "用5个词打招呼。"}],
max_tokens=32,
)
print(resp.choices[0].message.content)
```
## ⚡ 零配置要求
- **自动发现模型** 从Hugging Face缓存、Ollama、本地目录
- **自动分配端口** 避免冲突
- **自动检测LoRA适配器** 用于专用模型
- **开箱即用** - 无需配置文件，无需设置向导
## 🎯 本地开发的完美选择
- **隐私**: 您的代码永远不会离开您的机器
- **成本**: 无需API密钥，无需按token计费
- **速度**: 本地推理，亚秒级响应
- **可靠性**: 无速率限制，无停机时间
## 快速开始 (30秒)
### 安装
#### **🪟 Windows**
```bash
# 推荐：使用预构建二进制文件（无需构建依赖）
curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy.exe -o shimmy.exe
# 或者：从源码安装（需要LLVM/Clang）
# 首先安装构建依赖：
winget install LLVM.LLVM
# 然后安装shimmy：
cargo install shimmy --features huggingface
```
> **⚠️ Windows注意事项**:
> - **推荐使用预构建二进制文件**以避免构建依赖问题
> - 如果Windows Defender标记二进制文件，请添加排除项或使用`cargo install`
> - 对于`cargo install`：首先安装[LLVM](https://releases.llvm.org/download.html)以解决`libclang.dll`错误
#### **🍎 macOS / 🐧 Linux**
```bash
# 从crates.io安装
cargo install shimmy --features huggingface
```
### GPU加速
Shimmy支持多个GPU后端进行加速推理：
#### **🖥️ 可用后端**
| 后端 | 硬件 | 安装 |
|---------|----------|--------------|
| **CUDA** | NVIDIA GPU | `cargo install shimmy --features llama-cuda` |
| **Vulkan** | 跨平台GPU | `cargo install shimmy --features llama-vulkan` |
| **OpenCL** | AMD/Intel/其他 | `cargo install shimmy --features llama-opencl` |
| **MLX** | Apple Silicon | `cargo install shimmy --features mlx` |
| **所有GPU** | 全部 | `cargo install shimmy --features gpu` |
#### **🔍 检查GPU支持**
```bash
# 显示检测到的GPU后端
shimmy gpu-info
```
#### **⚡ 使用说明**
- GPU后端在运行时**自动检测**
- 如果GPU不可用则回退到CPU
- 可以编译多个后端，自动选择最佳的一个
- 使用`--gpu-backend