# agent-eval-platform

**Repository Path**: aiagentdemo/agent-eval-platform

## Basic Information

- **Project Name**: agent-eval-platform
- **Description**: 面向企业 AI Agent 开发的一体化评测平台。用户只需提供 **被测 Agent 的访问地址** 与 **功能描述**，
平台即可自动生成评估用例、调用 Agent 执行评估、多指标打分，并输出最终评测报告与 AI 改进洞察。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2026-09-24
- **Last Updated**: 2026-09-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# NebulaEval · 企业级 AI Agent 评测平台

面向企业 AI Agent 开发的一体化评测平台。用户只需提供 **被测 Agent 的访问地址** 与 **功能描述**，
平台即可自动生成评估用例、调用 Agent 执行评估、多指标打分，并输出最终评测报告与 AI 改进洞察。

技术栈：**Python 3 + FastAPI + Vue 3**，大模型酷炫暗色霓虹风格（青紫辉光 + 玻璃拟态 + 动态网格）。

## 五大功能层

1. **数据接入与追踪层**：通过 Open API / Python SDK 上报 Agent 真实调用轨迹（输入输出、Token、时延），可沉淀为评测数据集。
2. **评分器与指标管理**：内置 LLM 裁判、关键词命中、规则引擎、延迟评分四类评分器，支持启停与自定义。
3. **评估执行引擎**：真实 HTTP 调用被测 Agent，自适应多种常见请求/响应格式，失败或超时自动模拟兜底；支持多次重跑对比。
4. **数据集管理**：自动生成 / 人工导入 / 真实流量沉淀三类来源，可复用、可回归。
5. **运营分析与洞察**：总览大屏、五维能力雷达、等级分布、趋势分析，AI 自动生成优势 / 短板 / 可落地改进建议。

## 核心流程

```
创建任务(Agent地址 + 功能描述)
   → AI 自动生成多维度评估用例（基础/边界/安全/多轮/长文本）
   → 执行引擎逐条调用 Agent（HTTP，失败模拟兜底）
   → 多指标评分（准确性/完整性/安全合规/指令遵循/响应延迟）
   → 聚合综合分与 S/A/B/C/D 等级
   → 生成评测报告 + AI 洞察
```

## 快速开始

### 1. 启动后端（端口 8098）

```bash
bash start-backend.sh
# 或
cd backend
pip install -r requirements.txt
python -m uvicorn main:app --host 0.0.0.0 --port 8098
```

接口文档： http://127.0.0.1:8098/docs

### 2. 启动前端（端口 5198）

```bash
bash start-frontend.sh
# 或
cd frontend && npm install && npm run dev
```

打开 http://127.0.0.1:5198 ，点击「＋ 发起评测」，填写 Agent 地址与功能描述即可。

### 3. 端到端自检（无需网络/数据库/Key）

```bash
cd backend && python ../tests/e2e_test.py
```

## 大模型配置（火山方舟 ARK）

平台默认 **Mock 模式**（离线可用）：用例由内置模板生成、评分由确定性规则引擎完成。

配置 ARK 后自动切换为真实大模型，两种方式任选：

- 页面配置：「模型设置」中填写 ARK API Key / Base URL / 模型；
- 环境变量：`ARK_API_KEY`、`ARK_BASE_URL`、`ARK_MODEL`。

默认接入 OpenAI 兼容端点 `https://ark.cn-beijing.volces.com/api/v3`。

## 数据库

优先连接 **MySQL**（通过环境变量 `DB_HOST/DB_PORT/DB_USER/DB_PASSWORD/DB_NAME` 配置）；
当 MySQL 不可用时自动降级为 **SQLite**（`backend/data/agent_eval.db`），保证开箱即用。

## 目录结构

```
agent-eval-platform/
├── backend/            FastAPI 后端
│   ├── main.py
│   └── app/
│       ├── config.py database.py models.py schemas.py
│       ├── routers/   任务/数据集/评分器/执行/追踪/分析/设置
│       └── services/  LLM/用例生成/执行器/评分/分析/流水线
├── frontend/          Vue3 前端（src/views 十个页面）
├── tests/e2e_test.py  端到端自检
└── start-*.sh         一键启动脚本
```