# Learn-LLM-SFT-Easily

**Repository Path**: coderwillyan/learn-llm-sft-easily

## Basic Information

- **Project Name**: Learn-LLM-SFT-Easily
- **Description**: 轻松学AI系列之： 轻松学习LLM大语言模型微调
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2025-03-31
- **Last Updated**: 2025-10-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 🔥 Learn LLM SFT Easily

一个系统化的 **大模型微调学习项目**，涵盖 **理论基础** 到 **实战微调**，支持 **PEFT 框架** 和 **LLaMA-Factory 微调**。  
适合希望深入掌握 **LLM 微调技术** 的开发者和研究人员。

<p align="center">
  <img src="./assets/ft11.png" alt="SFT Cover" width="600">
</p>

---

## 📚 项目结构

```bash
.
├── 00_SFT理论                     # 微调理论基础
│   ├── 00_微调简介.md
│   ├── 01_BitFit、Prefix Tuning、Prompt Tuning.md
│   ├── 02_P-Tuning、P-Tuning v2.md
│   ├── 03_Adapter Tuning.md
│   ├── 04_LoRA、AdaLoRA、QLoRA.md
│   ├── 05_MAM Adapter、UniPELT.md
│   └── 06_总结.md
│
├── 01_SFT Practice-PEFT           # PEFT 微调实践案例
│
├── 02_SFT Practice-LLaMA-Factory  # 基于 LLaMA-Factory 微调
│   ├── 基于LLaMA-Factory的模型微调.md
│   └── 模型微调-LLaMA-Factory.ipynb
│
├── assets                         # 图片 / 图表 / 演示
└── README.md                       # 项目说明文档
````

---

## 🚀 快速开始

### 1. 克隆项目

```bash
git clone https://gitee.com/coderwillyan/learn-llm-sft-easily.git
cd learn-llm-sft-easily
```

### 2. 安装依赖

```bash
conda create -n env_sft python=3.10 -y
conda activate env_sft
pip install ipykernel  
python -m ipykernel install --user --name=env_sft --display-name "Python 3 (env_sft)"
```

### 3. 运行微调

执行02_SFT Practice-LLaMA-Factory：模型微调-LLaMA-Factory.ipynb

---

## 🧩 学习模块

### 🔹 00\_SFT理论

* 微调概念与原理
* BitFit / Prefix Tuning / Prompt Tuning
* P-Tuning / P-Tuning v2
* Adapter Tuning
* LoRA / AdaLoRA / QLoRA
* MAM Adapter / UniPELT
* 总结与最佳实践

### 🔹 01\_SFT Practice-PEFT

* 基于 PEFT 框架的微调案例
* LLaMA3-8B Instruct LoRA 实战
* 聊天机器人部署示例

### 🔹 02\_SFT Practice-LLaMA-Factory

* LLaMA-Factory 微调流程
* Notebook 演示微调与推理

---

## 🔧 环境要求

* Python 3.8+
* PyTorch >= 2.0
* Transformers
* PEFT / Accelerate
* Jupyter Lab / Notebook

---

## 📌 参考资料

* [Hugging Face Transformers](https://huggingface.co/docs/transformers/index)
* [PEFT 官方文档](https://huggingface.co/docs/peft/index)
* [LoRA 论文](https://arxiv.org/abs/2106.09685)
* [LLaMA-Factory](https://github.com/...)
* [QLoRA 论文](https://arxiv.org/abs/2305.14314)

---

## 📝 License

本项目仅用于学习与研究目的，不得用于商业用途。