# learn-llm

**Repository Path**: yctxkj/learn-llm

## Basic Information

- **Project Name**: learn-llm
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-08-23
- **Last Updated**: 2026-09-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLM 学习笔记

## 目录结构

```
01-基础          # 01-tokenizer / 02-注意力机制 / 03-transformer / 04-神经网络基础（补充）
02-训练          # 01-预训练 / 02-SFT / 03-LoRA微调 / 04-RLHF
03-推理部署      # 01-量化（GPTQ/AWQ）/ 02-vLLM / 03-本地部署
04-应用开发      # 01-Prompt工程 / 02-API调用 / 03-RAG / 04-Agent
05-论文精读      # 经典论文阅读笔记（附原文链接）
06-项目实战      # 动手项目与代码
99-资料收集      # 教程、课程、博客等零散资料
```

## 阶段索引

每个阶段都配有 `README.md`（定位 + 内容清单）、`学习计划.md`（每日勾选）与每日/每篇笔记。点击进入对应目录查看详情。

| 阶段 | 状态 | 内容 | 入口 |
|------|------|------|------|
| **01-基础** | ✅ 完成（Day 1~15） + 补充 | Tokenizer/词嵌入/位置编码、注意力机制、Transformer 从零实现、神经网络基础（补充） | [`01-基础`](01-基础) · [`学习计划`](01-基础/学习计划.md) |
| **02-训练** | ✅ 笔记完成（Day 1~15） | 预训练/CPT、SFT、LoRA/QLoRA、RLHF/DPO | [`02-训练`](02-训练) · [`学习计划`](02-训练/学习计划.md) |
| **03-推理部署** | ✅ 笔记完成（Day 1~11） | 量化(GPTQ/AWQ)、vLLM/PagedAttention、Ollama/llama.cpp | [`03-推理部署`](03-推理部署) · [`学习计划`](03-推理部署/学习计划.md) |
| **04-应用开发** | ✅ 笔记完成（Day 1~16） | Prompt 工程、API 调用、RAG、Agent | [`04-应用开发`](04-应用开发) · [`学习计划`](04-应用开发/学习计划.md) |
| **05-论文精读** | ✅ 完成（9 篇） | Transformer/InstructGPT/LoRA/DPO/RAG + BERT/GPT/ConstitutionalAI/ReAct | [`05-论文精读`](05-论文精读) · [`学习计划`](05-论文精读/学习计划.md) |
| **06-项目实战** | 🟡 部分（P0/P1 完成） | nanoGPT 逐行、Transformer 从零；P2~P6 进阶待做 | [`06-项目实战`](06-项目实战) · [`学习计划`](06-项目实战/学习计划.md) |
| **99-资料收集** | 📥 待整理 | 教程/课程/博客等零散资料收件箱 | [`99-资料收集`](99-资料收集) |

> 说明：「✅ 完成」指该阶段笔记/论文已全部写完并勾选计划；代码类（02~05 的动手脚本、06 的 P2~P6）为规划内容，待实际运行补齐。

## 学习路线建议

1. **基础** → 理解 Transformer 架构，手推 Attention（Day 1~15 已完成，含 nanoGPT 与从零实现）
2. **训练** → 预训练流程 + 动手 LoRA 微调（LLaMA-Factory / unsloth）
3. **推理部署** → 量化与 vLLM 部署，本地跑通开源模型
4. **应用开发** → RAG 与 Agent 是当前落地主流，重点投入
5. **论文精读** → 穿插补经典：Attention Is All You Need → InstructGPT → LoRA → DPO → RAG
6. **项目实战** → P0/P1 已完成，继续做 LoRA/RAG/Agent 综合项目巩固

## 环境

- **Python 3.13**：项目根目录虚拟环境 `.venv/`（已 gitignore）
- **pip 镜像**：清华源（`~/.config/pip/pip.conf` 全局生效）

```bash
# 激活虚拟环境
source .venv/bin/activate
# 或不激活直接用
.venv/bin/python 01-基础/01-tokenizer/bpe_demo.py

# 安装依赖（按需，暂无 requirements.txt）
.venv/bin/pip install tiktoken
```

## 约定

- 每个目录下用 Markdown 记笔记，代码放对应子目录
- 论文笔记命名：`年份-简称-一句话总结.md`，如 `2017-Transformer-自注意力开创之作.md`