# k12-graph
**Repository Path**: Pray_C/k12-graph
## Basic Information
- **Project Name**: k12-graph
- **Description**: k12知识图谱.............
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No
## Statistics
- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-08-31
- **Last Updated**: 2026-09-11
## Categories & Tags
**Categories**: Uncategorized
**Tags**: None
## README
---
## 🌟 为什么需要 K12-KGraph?
当下主流大模型能够回答"勾股定理是什么",但它缺少 **课程认知** —— 无法回答:
- 🧭 *这个概念的前置条件是什么?*
- 🔬 *哪个实验可以验证它?*
- 📝 *哪些习题在考察它?*
- 📚 *它在教材的哪一章哪一节?*
- 🕸 *它在概念分类体系中的位置?*
K12-KGraph 是**首个**开源、多学科、以官方教材为基底、把上述 5 个维度在同一张图谱上对齐的 STEM 知识图谱。它直接衍生出两个即插即用的 AI 资源:
| | [K12-Bench](https://huggingface.co/datasets/lhpku20010120/K12-KGraph) | [K12-Train](https://huggingface.co/datasets/lhpku20010120/K12-KGraph) |
|---|---|---|
| **规模** | 23,640 道多选题 | 2,267 条 SFT QA |
| **作用** | 评测课程结构认知能力 | 通过 KG-guided SFT 传授课程认知 |
| **任务族 / 合成来源** | Ground · Prereq · Neighbor · Evidence · Locate | 节点属性合成 + 关系模板合成 + 确定性模板 |
| **关键结论** | 即使 Gemini-3-Flash 也只达到 **57.1%** EM | 在 2,300 条样本预算下超过 8 个主流 SFT 语料 |
---
## 📊 K12-Bench Leaderboard(zero-shot,单位 %)
| 模型 | Overall EM | Overall F1 |
|---|---|---|
| *Random guess* | 6.7 | 36.4 |
| Meta-LLaMA-3-8B-Instruct | 7.2 | 52.6 |
| GLM-4.7-Flash | 31.7 | 63.9 |
| GPT-4o | 31.1 | 65.9 |
| Qwen3-32B | 42.6 | 69.5 |
| Gemma-4-31B-IT | 46.4 | 69.5 |
| GPT-5.2 | 42.8 | 68.0 |
| Gemini-2.5-Flash | 48.3 | 66.7 |
| **Gemini-3-Flash** | **57.1** | **73.0** |
> 即使最强的闭源模型,在 **Prereq(前置推理)** 和 **Neighbor(邻居推荐)** 两个任务上仍有超过 40% 的题目做不对。完整 5 任务细分结果请见 [项目主页](https://haolpku.github.io/K12-KGraph-page/)。
---
## 🗺️ 仓库结构
```
K12-KGraph/
├── src/
│ ├── kg/ # 知识图谱构建流程
│ ├── benchmark/ # K12-Bench 题目合成
│ ├── sft_qa/ # K12-Train QA 合成(节点 / 关系 grounded)
│ └── utils/ # 共享配置 / LLM client / IO
├── eval/ # K12-Bench 评测脚本(OpenAI 兼容 / vLLM)
├── config/ # 默认 pipeline 配置
├── demo/ # 数据格式示例(精简版)
├── books.yaml # 教材注册清单
├── docs/img/ # README 图片
└── requirements.txt
```
构建流水线:
```
PDF 教材 ─► MinerU 解析 ─► 按节切分 ─► GPT-5.2 schema 约束抽取
─► 分层合并(书 → 学科 → 全局)─► DAG 校验 + 专家复核
─► K12-KGraph ─► K12-Bench(图查询)+ K12-Train(QA 合成)
```
---
## 🚀 快速开始
### 1. 安装
```bash
git clone https://github.com/haolpku/K12-KGraph.git
cd K12-KGraph
pip install -r requirements.txt
```
> 如果需要从 PDF 启动完整 pipeline,还需安装 [**MinerU**](https://github.com/opendatalab/MinerU),并确保 `magic-pdf` 命令可调用。
### 2. 加载公开数据集
```python
from datasets import load_dataset
kg = load_dataset("lhpku20010120/K12-KGraph", split="train")
bench = load_dataset("lhpku20010120/K12-KGraph", name="bench", split="test")
train = load_dataset("lhpku20010120/K12-KGraph", name="train", split="train")
```
### 3. 从头构建图谱
```bash
cp config/.env.example config/.env # 填入 OPENAI_API_KEY 等
python src/kg/run_pipeline.py \
--config config/default.yaml \
--filter-prefix <书前缀> # 例如 math_7a_rjb
```
### 4. 衍生 Bench 与 SFT 数据
```bash
python src/benchmark/run_pipeline.py --help
python src/sft_qa/run_pipeline.py --help
```
### 5. 在 K12-Bench 上评测模型
```bash
cp eval/configs/.env.example eval/configs/.env
chmod +x eval/run.sh
./eval/run.sh <模型配置名> # eval/configs/models/<模型配置名>.yaml
```
---
## 🤗 已发布模型
我们在 Hugging Face 发布了 3 个使用 **K12-Train** 训练的独立 checkpoint。每个模型仓库均包含 tokenizer、chat template、配置和完整/已合并权重,无需另行下载基座模型。
| Checkpoint | 参数量 | 微调方式 | 权重大小 | 协议 |
|---|---:|---|---:|---|
| [Llama3.1-8B-K12KGraph](https://huggingface.co/lhpku20010120/llama3.1-8b-k12kgraph) | 8B | 全参数 SFT | 16.1 GB | Llama 3.1 |
| [Qwen3.5-2B-K12KGraph](https://huggingface.co/lhpku20010120/qwen3.5-2b-k12kgraph) | 2B | LoRA SFT,已合并 | 4.4 GB | Apache-2.0 |
| [Qwen3-4B-K12KGraph](https://huggingface.co/lhpku20010120/qwen3-4b-k12kgraph) | 4B | 全参数 SFT | 8.0 GB | Apache-2.0 |
使用 Hugging Face CLI 下载模型:
```bash
pip install -U huggingface_hub
hf download lhpku20010120/qwen3.5-2b-k12kgraph \
--local-dir checkpoints/qwen3.5-2b-k12kgraph
```
也可以直接从 Hub 启动 vLLM,并在 K12-Bench 上评测:
```bash
# 可将 qwen3_5_2b 替换为 llama3_1_8b 或 qwen3_4b。
bash eval/vllm_scripts/qwen3_5_2b_k12kgraph.sh
./eval/run.sh qwen3_5_2b_k12kgraph_vllm
```
启动脚本支持通过 `VLLM_HOST`、`VLLM_PORT`、`VLLM_TP_SIZE`、`VLLM_MAX_MODEL_LEN`、`VLLM_GPU_MEM` 和 `VLLM_MODEL_ID` 覆盖默认配置。
---
## 🧱 Schema 一览
**7 类节点** — `Book` · `Chapter` · `Section` · `Concept` · `Skill` · `Experiment` · `Exercise`
**9 类边** — `is_a` · `prerequisites_for` · `relates_to` · `verifies` · `tests_concept` · `tests_skill` · `appears_in` · `leads_to` · `is_part_of`
每个 `Concept` 必含 `name`、`definition`、`importance`,可选 `formula`、`aliases`、`examples`。每个 `Experiment` 必含 `instruments`、`is_student`、`process`、`phenomena`、`conclusion`。完整 schema 见项目主页或论文附录。
---
## 📚 数据集组成
| 学科 | 教材 | Concept | Skill | Experiment | Exercise |
|---|---:|---:|---:|---:|---:|
| 数学 | 23 | 1,475 | 428 | 0 | 471 |
| 物理 | 9 | 1,154 | 197 | 220 | 186 |
| 化学 | 7 | 2,302 | 451 | 309 | 270 |
| 生物 | 9 | 1,648 | 288 | 123 | 244 |
| **合计** | **48** | **6,579** | **1,364** | **652** | **1,171** |
---
## 🧪 质量保障
- **总体 Fleiss' κ = 0.84**,12 位学科教师资格专家参与标注(分关系:`is_a` 0.91、`prerequisites_for` 0.82、`relates_to` 0.69、`verifies` 0.88)
- **DAG 自动校验**:`is_a` 与 `prerequisites_for` 子图无环
- **每条边可带 `evidence` 字段**,可回溯到教材原文
- K12-Bench 分层抽样人工复核:**98.4%** 题目被三位专家全票通过
---
## 🌈 在线浏览
想在不克隆仓库的前提下浏览节点、抽样 bench 题目、查看训练数据?请访问配套项目主页:
---
## 🤝 欢迎贡献
我们尤其期待以下贡献:
- 🏫 扩展其他教材版本(北师大版、苏教版等)
- 🧪 在 5 类任务之外设计新的任务族
- 🐛 报告具体边 ID 的质量问题
- 🌍 将 schema / 文档翻译为其他语言
GitHub Issue 48 小时内响应。
---
## 📖 引用
```bibtex
@misc{k12kgraph2026,
title = {K12-KGraph: A Curriculum-Aligned Knowledge Graph for
Benchmarking and Training Educational LLMs},
author = {Hao Liang and others},
year = {2026},
howpublished = {Submitted to NeurIPS 2026 Evaluations and Datasets Track},
url = {https://github.com/haolpku/K12-KGraph}
}
```
---
## 📄 许可证
- **数据集**(图谱、Bench、Train):[CC BY-NC-SA 4.0](LICENSE)
- **代码**(本仓库):MIT
---