# decision-model-from-scratch

**Repository Path**: panenming/decision-model-from-scratch

## Basic Information

- **Project Name**: decision-model-from-scratch
- **Description**: 从零搞懂决策模型：Jev 式 System-1 的非自回归决策
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2026-09-22
- **Last Updated**: 2026-10-07

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 从零搞懂决策模型：Jev 式 System-1 的非自回归决策

一套**从零实现、纯 CPU、零框架**的「决策模型」——复现 Jev（TypeSafe AI）的核心机制「单 token 打分」，并落地到浏览器自动化（结合 fast-browser-use 的开源逆向）。

配套书籍《从零搞懂决策模型》（约 89 页，含 6 张手绘图）讲解每一个零件「为什么存在」。本书代码全部在仓库里，可从零运行、可复现。

## 核心思想

传统 LLM 是「逐字生成文字」（自回归，慢）；决策模型是「把每个候选答案映射到词表里的单 token，一次前向读这几个 token 的 logits，softmax 出概率」（非自回归，快）。**不是新架构，而是 Transformer 的一种新用法。**

## 包含什么

- `model/decision.py` — 单 token 打分（核心机制，约 40 行）
- `data/decision_data.py` — 决策数据集（情感/话题/风险/浏览器选元素 4 个任务）
- `train/train_decision.py` — 只对「答案 token」算交叉熵的训练
- `train/calibrate.py` — 温度缩放校准（RLCD 的从零简化版）
- `infer/decide.py` — 决策 API（state + question → 概率）
- `demo/browser_use.py` — 简化版浏览器动作选择（fast-browser-use 机制复刻）

复用第一本书《从零搞懂大模型》的 Transformer 基础设施（`core/tensor.py` 等）。

## 快速开始

```bash
# 1. 环境（只需 Python 3 + numpy）
python3 -c "import numpy"

# 2. 复制语料（供词表训练用）
cp ../llm-from-scratch/data/zh_corpus.txt data/

# 3. 训练（约 15 分钟）
python3 train/train_decision.py 4000

# 4. 测试三种决策类型
python3 -c "
import sys; sys.path.insert(0, '.')
from infer.decide import load_model, decide
gpt, tok = load_model('checkpoints/decision')
print(decide(gpt, tok, '这部电影很好看', {'type':'noul'}))
"

# 5. 浏览器动作选择 demo
python3 demo/browser_use.py

# 6. 校准
python3 train/calibrate.py
```

## 配套书籍

书在仓库根目录：`BOOK.md`（源）和 `BOOK.pdf`（成品）。从「什么是决策模型」讲到「怎么在浏览器自动化里落地」，含单 token 打分、ECE、温度缩放的数值走读。

## License

[MIT](LICENSE)