# fine_tuning

**Repository Path**: zangchenyu01/fine_tunint

## Basic Information

- **Project Name**: fine_tuning
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-08-25
- **Last Updated**: 2026-08-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLM Fine-Tuning Lessons

模型微调配套代码仓库，涵盖环境搭建到高级微调技术


## 技术栈

- **微调框架**: Unsloth
- **推理框架**: vLLM
- **量化工具**: llama.cpp, TorchAO 
- **包管理**: uv


## 目录结构

```
fine-tuning-lessons-v3/
├── day1-platform/         # 环境配置
├── day2-overview/         # 微调概览
├── day3-peft/             # 高效参数微调
├── day4-quantization/     # 模型量化
├── day5-multimodal-i/     # 多模态模型一
├── day6-multimodal-ii/    # 多模态模型二
└── day7-best-practices/   # 模型部署与评测
```

## 课程结构

### Day 1 - 环境搭建

| 模块 | 路径 | 说明 |
|------|------|------|
| Unsloth 环境 | [day1-platform/1-env-unsloth](day1-platform/1-env-unsloth) | Unsloth 框架环境配置 |
| ModelScope 环境 | [day1-platform/2-env-modelscope](day1-platform/2-env-modelscope) | ModelScope 镜像与工具配置 |
| vLLM 环境 | [day1-platform/3-env-vllm](day1-platform/3-env-vllm) | vLLM 推理框架环境 |

### Day 2 - 微调概览

| 模块 | 路径 | 说明 |
|------|------|------|
| 数据清洗 | [day2-overview/0-data_clean](day2-overview/0-data_clean) | 数据清洗与质量控制 |
| Unsloth 微调 | [day2-overview/1-unsloth](day2-overview/1-unsloth) | 基于 Unsloth 的 SFT 训练示例 |
| MS-Swift 微调 | [day2-overview/2-ms-swift](day2-overview/2-ms-swift) | 阿里 MS-Swift 框架使用 |
| DeepSpeed 微调 | [day2-overview/3-deepspeed](day2-overview/3-deepspeed) | DeepSpeed 训练 |


### Day 3 - PEFT 技术

| 模块 | 路径 | 说明 |
|------|------|------|
| C语言神经网络 | [day3-peft/nn-in-c](day3-peft/nn-in-c) | 用 C 实现反向传播神经网络 |
| LoRA 微调 | [day3-peft/lora-tuning](day3-peft/lora-tuning) | LoRA、Full-tuning 对比实验 |


### Day 4 - 量化技术

| 模块 | 路径 | 说明 |
|------|------|------|
| FLOPs 计算 | [day4-quantization/1-calc-flops](day4-quantization/1-calc-flops) | 模型计算量分析 |
| PTQ 量化 | [day4-quantization/2-ptq-llamacpp](day4-quantization/2-ptq-llamacpp) | llama.cpp 后训练量化实践 |
| QAT 量化 | [day4-quantization/3-qat-unsloth](day4-quantization/3-qat-unsloth) | Unsloth QAT 量化微调 |

### Day 5 - 多模态模型 I

| 模块 | 路径 | 说明 |
|------|------|------|
| 视觉问答 | [day5-multimodal-i/1-vqa/1-blip](day5-multimodal-i/1-vqa/1-blip) | BLIP 模型 VQA 任务 |
| 文档问答 | [day5-multimodal-i/2-docqa/1-donut](day5-multimodal-i/2-docqa/1-donut) | Donut 文档理解模型 |
| 图文描述 | [day5-multimodal-i/3-image-captioning/1-vit-gpt2](day5-multimodal-i/3-image-captioning/1-vit-gpt2) | ViT-GPT2 图像描述生成 |
| 图文检索 | [day5-multimodal-i/4-image-text-search/1-clip](day5-multimodal-i/4-image-text-search/1-clip) | CLIP 图文匹配与检索 |
| Qwen2.5-VL 微调 | [day5-multimodal-i/5-qwen35-vision](day5-multimodal-i/5-qwen35-vision) | Qwen2.5-VL 多模态微调 |

### Day 6 - 多模态模型 II

| 模块 | 路径 | 说明 |
|------|------|------|
| Diffuser SFT | [day6-multimodal-ii/diffuser-sft](day6-multimodal-ii/diffuser-sft) | Stable Diffusion LoRA 微调 |

### Day 7 - 最佳实践

| 模块 | 路径 | 说明 |
|------|------|------|
| Ollama 部署 | [day7-best-practices/1-ollama](day7-best-practices/1-ollama) | Ollama 本地推理部署 |
| vLLM 部署 | [day7-best-practices/2-vllm](day7-best-practices/2-vllm) | vLLM 高性能推理服务 |
| SGLang 部署 | [day7-best-practices/3-sglang](day7-best-practices/3-sglang) | SGLang 推理框架 |
| EvalScope 评测 | [day7-best-practices/4-evalscope](day7-best-practices/4-evalscope) | 模型性能评测工具 |