# llm-from-scratch

**Repository Path**: wscfan/llm-from-scratch

## Basic Information

- **Project Name**: llm-from-scratch
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-07-05
- **Last Updated**: 2026-07-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# AI 底层基础知识教程

> 面向**有编程基础**的读者，从零讲清深度学习 + 现代 LLM 的底层原理。
> 每个核心概念都配一份**可运行的 PyTorch 最小实现**，不做"调包侠"。

## 这套教程适合谁

- 会 Python，能看懂矩阵运算，但没系统学过 ML/DL
- 用过 HuggingFace / OpenAI API，但想搞懂背后到底在发生什么
- 看得懂"用 Transformer 训练 LLM"这种话，但说不清 Attention 具体怎么算
- 想从"会调用模型"进化到"能改模型、能训模型、能 debug 模型"

**不适合**：完全零编程基础的读者（先去学 Python）；想找"3 分钟训一个 GPT"速成课的读者。

## 完整目录

教程分五部分，建议按顺序读，每章大约 1~2 小时。

### 第一部分 · 地基

| 章节 | 标题 | 关键概念 |
|---|---|---|
| [第 1 章](./01-导读.md) | 导读与环境准备 | AI/ML/DL 的关系、PyTorch 速览、学习路径 |
| [第 2 章](./02-数学基础.md) | 必要的数学基础 | 张量运算、链式法则、概率分布、MLE/MAP |
| [第 3 章](./03-机器学习核心.md) | 机器学习的核心范式 | 模型、损失、梯度下降、过拟合、train/val/test |

### 第二部分 · 深度学习基础

| 章节 | 标题 | 关键概念 |
|---|---|---|
| [第 4 章](./04-MLP与反向传播.md) | 多层感知机与反向传播 | 计算图、`nn.Module`、MNIST 实战 |
| [第 5 章](./05-训练的艺术.md) | 训练的工程艺术 | 优化器、初始化、学习率调度、Norm、Dropout |
| [第 6 章](./06-CNN.md) | 卷积神经网络 | 卷积、感受野、LeNet→ResNet 演进 |

### 第三部分 · 走向 Transformer

| 章节 | 标题 | 关键概念 |
|---|---|---|
| [第 7 章](./07-Embedding.md) | Embedding 与表示学习 | 离散 token → 稠密向量、word2vec、位置编码 |
| [第 8 章](./08-Attention.md) | Attention 机制的本质 | Self-Attention 手算、MultiHead 实现 |
| [第 9 章](./09-Transformer.md) | Transformer 完整拆解 | 残差、LayerNorm、GPT vs BERT |

### 第四部分 · 现代 LLM

| 章节 | 标题 | 关键概念 |
|---|---|---|
| [第 10 章](./10-预训练.md) | 预训练——从 GPT 到 LLaMA | 语言建模目标、Scaling Laws、Chinchilla |
| [第 11 章](./11-对齐.md) | 对齐——SFT / RLHF / DPO | 奖励模型、PPO、DPO 推导 |
| [第 12 章](./12-推理优化.md) | 推理优化 | KV Cache、Flash Attention、量化、投机解码 |

### 第五部分 · LLM 应用与微调

| 章节 | 标题 | 关键概念 |
|---|---|---|
| [第 13 章](./13-Prompt工程.md) | Prompt 与上下文工程 | ICL、CoT、Few-shot、System Prompt |
| [第 14 章](./14-RAG.md) | RAG 检索增强生成 | 向量检索、rerank、chunk 策略 |
| [第 15 章](./15-Agent.md) | Agent 与工具调用 | ReAct、Tool Use、Planning、Memory |
| [第 16 章](./16-LoRA微调.md) | LoRA 与参数高效微调 | LoRA/QLoRA 原理与实现 |

## 阅读路径

```
                   第 1~3 章 (打地基)
                         │
                         ▼
                   第 4~6 章 (DL 基础)
                         │
              ┌──────────┼──────────┐
              ▼          ▼          ▼
         第 7 章     第 8~9 章    (跳过 CNN)
         (Embedding) (Attention+Transformer)
              └──────────┬───────────┘
                         ▼
                  第 10~12 章 (现代 LLM 内核)
                         │
              ┌──────────┼──────────┐
              ▼          ▼          ▼
          第 13 章    第 14 章    第 15~16 章
          (Prompt)    (RAG)      (Agent+微调)
```

- **只想搞懂 LLM 怎么用**：1 → 3 → 7 → 9 → 10 → 11 → 13 → 14 → 15
- **想做算法/训模型**：1 → 2 → 3 → 4 → 5 → 7 → 8 → 9 → 10 → 11 → 12 → 16
- **想全栈通吃**：从头到尾

## 配套代码

每章内嵌的代码片段**都是可直接运行的**。集中示例放在 `code/` 目录：

```
learn-ai/
├── README.md            ← 你正在看
├── 01-导读.md
├── ...
├── code/                ← 可运行的完整示例
│   ├── linear_regression.py
│   ├── mlp_mnist.py
│   ├── attention_from_scratch.py
│   ├── mini_gpt.py
│   └── ...
└── figures/             ← 章节里的图片
```

## 环境准备

详见 [第 1 章](./01-导读.md#环境准备)。一句话版：Python 3.10+、PyTorch 2.x、单卡 GPU 可选（CPU 也能跑前几章的示例）。

## 写作约定

- **数学符号**：向量小写粗体 $\mathbf{x}$，矩阵大写 $X$，标量普通 $n$
- **代码**：内联短代码用反引号，独立代码块带语言标记
- **术语**：首次出现给中英对照，例如"注意力（Attention）"
- **章节末**：每章末尾有"一页纸总结"和"动手练习"

## 勘误与反馈

这是教程不是圣经，必然有错。发现 issue 直接改就行。

---

**下一步** → [第 1 章：导读与环境准备](./01-导读.md)