# AI持续学习_Continual Brain

**Repository Path**: hiczz/Continual-Brain

## Basic Information

- **Project Name**: AI持续学习_Continual Brain
- **Description**: 这是1个AI持续学习的架构
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-08-04
- **Last Updated**: 2026-10-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Continual Brain — 大模型持续学习研究实验室

目标：在 0.05B 及更小参数规模上，研究"模型在执行中从反馈/错误/新知识中**即时学习**、
学习固化到**权重**、不遗忘旧能力"的架构创新。硬件：RTX 4060 8GB。

> ⚠️ **未经完全验证声明（必读）**
>
> 本项目是**研究原型，不是经过完整验证的产品**。当前状态：
>
> **✅ 已验证（仅限以下窄范围）**
> - H2-G v3 语境槽架构在 **0.05B 规模**（65,536 槽 / ~79K 可训练参数 +
>   ~106MB 槽缓冲）的机制验证：exp_011~014 全规模 ALL PASS（毫秒级吸收、
>   语境级纠正翻转、逐位可验证 integrity、协议内无灾难性遗忘）
> - 对比套件 exp_015：五基线六测度在**合成 NewsLM 数据**上的相对结果
> - 混合架构演示：Qwen2.5-0.5B + H2-G 在**单一虚构剧本**上的端到端流程
>
> **❌ 未验证（诚实清单）**
> - **0.5B / 3B 商用档位从未实际训练**——仅配置文件与显存预估
>   （`src.cli scale-plan`），无任何实验证据支持其规模可用性
> - **真实世界数据/任务未测**：全部实验用合成 NewsLM / FactStream 数据，
>   字母词表（26 字母）与真实语言/真实 agent 任务差异巨大
> - **真实 agent 场景未测**：多任务并发、长会话、多用户纠正冲突、
>   对抗性/错误反馈鲁棒性均无实验
> - **Qwen 主干混合仅 1 个剧本**（3 条事实 + 2 条纠正），不足以支撑
>   "可与商用 LLM 集成"的结论；未测生成质量/幻觉率/长上下文
> - **通用性未验证**：仅一个数据生成器、一个任务族（词搭配 next-word）；
>   跨语言、跨任务、代码、数学等一概未测
> - **并发/分布式未验证**：线程锁是单进程语义，多进程/多机未见设计
>
> **因此：本仓库只适合作为研究/教学参考，不应用于生产或任何依赖可靠性的
> 场景。** 任何"可训练商用大模型"的表述都只是**架构路径设想**，而非已验证事实。

## 核心约束（用户定义）

- ❌ 不用 RAG / 向量数据库外挂 / 新增 LoRA 适配器
- ✅ 学习内容必须固化到模型权重中（保存/加载权重后能力保留）
- ✅ 学习步骤必须极快（毫秒级）或与推理同步完成，不依赖大规模微调
- ✅ 学习新任务不遗忘旧任务（逐位可验证：integrity bad_col=0）
- ✅ 允许脱离 transformer 的架构创新
- ✅ 规模 ≤ 50M 参数（0.05B），全部实验在 8GB 显存内完成

## 文档（docs/）

| 文档 | 内容 |
|------|------|
| [docs/ARCHITECTURE.md](docs/ARCHITECTURE.md) | 架构原理（槽记忆/哈希/纠正/完整性）+ 与主流架构对比 + exp_015 结果表 |
| [docs/RESEARCH.md](docs/RESEARCH.md) | 研究编年史：决策树、失败与决定性修复 |
| [docs/GUIDE.md](docs/GUIDE.md) | 新手入门：安装、5 分钟跑通、复现、agent 集成、规模扩展 |

原始事实来源：`RESEARCH_LOG.md`（逐字实验记录）· `HYPOTHESES.md`（假设总表）·
`GOALS.md`（目标与恢复指引）。

## 快速开始

```bash
pip install -r requirements.txt        # numpy + torch（可选 transformers/modelscope，见 GUIDE §2）
python -m src.cli smoke                # 全部冒烟（~2 分钟，先冒烟后全规模）
make compare                           # 五基线对比（H2-G vs GPT/RAG/LoRA/ICL，~10 分钟）
python -m src.cli agent --ckpt experiments/exp_014_lm_runtime/checkpoint.pt --rounds 2
python scripts/hybrid_agent_demo.py    # 混合架构演示（Qwen2.5-0.5B + H2-G，可选）
```

## 统一命令行（python -m src.cli）

| 子命令 | 作用 |
|--------|------|
| `train` | 元训练（newslm / factstream / newsfacts） |
| `eval` | checkpoint 健康检查/快速评测 |
| `learn` | 运行时学习（三元组/纠正 → 固化到权重） |
| `infer` | 推理（下一词/句子补全） |
| `agent` | agent 闭环演示（生成→吸收→纠正→再生成） |
| `compare` | 对比套件（`--smoke` 冒烟模式） |
| `smoke` | 一键跑全部冒烟（可复现清单） |
| `scale-plan` | 规模档位配置 + 显存预估（0.05B/0.5B/3B） |

## 目录结构

```
AIlearn/
├── GOALS.md            # 研究目标 + 上下文压缩恢复指引（必读）
├── RESEARCH_LOG.md     # 主实验日志（唯一事实来源）
├── HYPOTHESES.md       # 所有架构设想（编号、状态、原理、验证结果）
├── README.md           # 本文件
├── docs/               # ARCHITECTURE / RESEARCH / GUIDE（三份讲解文档）
├── src/
│   ├── cli.py          # 统一命令行入口（8 个子命令）
│   ├── runtime.py      # H2GRuntime（agent 集成库，线程安全）
│   ├── scale.py        # 规模档位与显存预估
│   ├── models/bigram_slot.py  # H2-G v3 语境槽模型（核心）
│   ├── compare/        # exp_015 对比套件（gpt_lm / rag_mem / lora_fit / icl_baseline）
│   ├── train.py / learn.py / infer.py / eval_continual.py
│   └── data/           # 数据生成（FactStream / NewsLM 等）
├── experiments/        # 每次实验的配置/日志/结果（不可删除，git 管理）
│   └── exp_XXX/        #   config.json / run.log / results.json
└── scripts/            # 诊断与演示脚本（全部保留）
```

## 复现保证

- 每个实验有独立目录：`config.json`（含全部超参与随机种子）、`run.log`、`results.json`
- 全部实验固定随机种子；结果存 JSON 供对比；对比套件输出 `eval_results.json + compare_table.md`
- 冒烟与全规模结果目录隔离（`experiments/_smoke_*` vs `experiments/exp_*`），
  冒烟结果与提交版逐位一致（可复现性已验证）
- 所有产出文件 git 管理，不删除

## 环境

- Python 3.12.10 / PyTorch 2.6.0+cu124 / CUDA 12.4 / RTX 4060 Laptop 8GB / bf16 支持
- 核心依赖：torch, numpy（保持轻量）；可选 transformers + modelscope（混合演示，
  模型经 ModelScope 下载，国内可达）

## 验证边界（细目）

- 全部机制验证在 0.05B 规模、8GB 单卡、合成数据上完成；结论不自动外推
- 0.5B/3B 档位与多卡路径仅给出配置与路径（本硬件不实际训练——见顶部声明）
- 对比套件协议差异（H2-G 只喂前一词 vs GPT 类喂完整上文）如实记录于
  docs/ARCHITECTURE.md §4——该差异对 GPT 一方有利，不构成"H2-G 全面胜出"的结论
- 混合演示的纯 LLM 对照仅 1 个剧本（3 事实 + 2 纠正），是**演示**而非基准测试