# LLMSpeedBench

**Repository Path**: snxa/llmspeed-bench

## Basic Information

- **Project Name**: LLMSpeedBench
- **Description**: 大模型调用测速台
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-08-09
- **Last Updated**: 2026-08-09

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 大模型调用测速台 · LLM Speed Bench

> 在浏览器中统一测速各大 LLM 平台：同一提示词、同一参数、同一协议，跨平台横向对比首字延迟与吐字速度。

![license](https://img.shields.io/badge/license-MIT-blue.svg)
![platform](https://img.shields.io/badge/platform-browser-success.svg)
![zero-config](https://img.shields.io/badge/setup-zero--config-orange.svg)

---

## ✨ 简介

`LLM Speed Bench` 是一个**纯前端**的大模型 API 测速工具 — 打开 `index.html` 即可使用。它使用统一的测速协议，把不同平台、不同厂商、不同代理站的 LLM 接口拉到一起横向对比：

- 🪶 **零依赖**：单文件 HTML + 原生 JS，无构建、无 Node、无后端
- 🔐 **本地优先**：API Key 使用浏览器 Web Crypto（AES-GCM）加密后保存在本机
- 📊 **统一口径**：相同提示词、相同 `max_tokens`、`temperature=0`、流式输出，逐轮取均值
- ⚡ **实时反馈**：测速进行中实时显示首字延迟、吐字速度、进度条与迷你折线图
- 🧩 **多平台**：内置 OpenAI / DeepSeek / Moonshot / 智谱 / OpenRouter / 阿里云百炼 / Ollama，也支持任意 OpenAI 兼容自定义接入

---

## 🚀 快速开始

### 方式一：直接打开（最简单）

双击 `index.html` 即可在浏览器中打开并使用。

### 方式二：本地启动静态服务器（推荐，部分浏览器对 `file://` 下 `fetch` 与 `crypto.subtle` 有额外限制）

```bash
# 任选其一
python3 -m http.server 8080
# 或
npx serve .
```

然后访问 [http://localhost:8080](http://localhost:8080)。

---

## 🧭 使用流程

整个测速过程按照三步走：

```
① 配置平台与 Key  →  ② 选择模型  →  ③ 开始测速与对比
```

### 1️⃣ 配置平台

- **内置平台**：开箱即用 OpenAI / DeepSeek / Moonshot（Kimi）/ 智谱 GLM / OpenRouter / 阿里云百炼 / Ollama（本地）。
- **自定义平台**：点击「+ 自定义」，填写平台名称与 `Base URL`（任意 OpenAI 兼容的 `/models`、`/chat/completions` 接口，含中转站）。
- **API Key**：在「平台配置」面板中填入对应 Key，Key 会被 AES-GCM 加密后存到 `localStorage`，**仅本机**使用。

### 2️⃣ 选择模型

- 在平台配置区点击「获取模型列表」可自动拉取。
- 也支持**手动添加模型 ID**（适合中转站或本地 Ollama）。
- 勾选想要对比的模型即可加入测速队列。

### 3️⃣ 开始测速

- 设置**测速轮次**（1–10 轮）和 **`max_tokens`**。
- 点击「开始测速」，实时面板会逐模型展示：
  - **TTFT**（首字延迟，ms）
  - **流式速度**（tok/s，吐字阶段吞吐）
  - **请求速度**（tok/s，端到端）
  - **总耗时**（s）
  - **首字折线图 + 流式输出预览**
- 完成后可在「会话记录」中查看汇总表格与可视化对比，并**一键导出 CSV**。

---

## 📐 统一测速协议

所有平台在测速时使用**完全相同**的请求参数，保证结果可横向对比：

| 项目       | 取值                                                                 |
| ---------- | -------------------------------------------------------------------- |
| 提示词     | 「请用简洁的中文说明什么是大语言模型，并列举两个典型应用场景。」     |
| `temperature` | `0`                                                              |
| `stream`   | `true`                                                               |
| `max_tokens` | 可配置，默认 `256`                                                 |
| 轮次       | 可配置，默认 `3`                                                     |
| Token 计数 | 优先取接口返回的 `usage.completion_tokens`；否则按字符估算并标注「估」 |

> ⚠️ 网络与平台侧限流会影响结果。建议多轮测量，结合自身网络环境解读。

---

## 📊 指标说明

- **TTFT（Time To First Token）**：从发出请求到收到第一个内容 token 的耗时，单位 ms。
- **流式速度**：输出 token 数 ÷ 生成耗时（总耗时 − TTFT），衡量**吐字阶段**的真实吞吐，单位 tok/s。
- **请求速度**：输出 token 数 ÷ 总耗时（含首字等待），衡量**端到端体感速度**，单位 tok/s。
- **总耗时**：从发出请求到流式响应结束，单位 s。

---

## 🔐 密钥安全

- 使用浏览器原生 **Web Crypto (AES-GCM)** 加密 API Key。
- 加密后仅保存在本机 `localStorage`（`localStorage` 不可用时回退内存）。
- **不会上传到任何第三方服务器**，只用于向对应平台发起测速请求。
- 你可以随时删除某个平台的 Key。
- 测速记录**仅保留在当前会话内存**，刷新或关闭页面即清空 — 需要长期保留请使用「导出 CSV」。

---

## 🧱 项目结构

```
.
├── index.html         # 全部 UI 与逻辑（单文件应用）
├── _check.js          # 协议/逻辑参考副本（构建工具/外部校验使用）
├── AGENTS.md          # 来自 QoderWork Canvas 的交接说明
└── README.md          # 本文档
```

> `assets/`、`styles/`、`outputs/`、`uploads/` 为预留目录，便于后续扩展。
> `.canvas-meta.json`、`.design-state.json`、`.design.json` 为 QoderWork Canvas 设计状态文件，发布时已被忽略。

---

## 🛠️ 浏览器要求

- 支持 `fetch`、`ReadableStream`、`crypto.subtle` 的现代浏览器（Chrome / Edge / Firefox / Safari 近两年版本）。
- 推荐使用 `https://` 或 `http://localhost` 访问，避免部分浏览器在 `file://` 协议下限制 `crypto.subtle`。

---

## 🧪 适用场景

- 🤖 **多平台选型**：同一个问题对比 OpenAI、DeepSeek、Kimi、GLM 等，谁更快一目了然。
- 🚏 **中转站质量评估**：横向对比不同中转线路的 TTFT 与吞吐。
- 💻 **本地模型对比**：用 Ollama 接入本地模型，与云端 API 同台竞技。
- 📈 **网络/路由调优**：观察不同时间段、不同网络环境下的速度差异。

---

## 🧾 开源协议

MIT License — 详见 [LICENSE](LICENSE)（如未随仓库附带，按标准 MIT 文本理解）。

---

## 🙏 致谢

- 内置平台模板涵盖：OpenAI、DeepSeek、Moonshot（Kimi）、智谱 GLM、OpenRouter、阿里云百炼（DashScope）、Ollama。
- 所有协议遵循各平台官方 OpenAI 兼容接口规范。

---

如果这个工具对你有帮助，欢迎 ⭐ Star 或提 Issue / PR！