# deepseek-finetune-lora

**Repository Path**: kernliu/deepseek-finetune-lora

## Basic Information

- **Project Name**: deepseek-finetune-lora
- **Description**: deepseek微调工作
- **Primary Language**: Python
- **License**: OSL-3.0
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2025-02-11
- **Last Updated**: 2025-02-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 🚀 **DeepSeek-llm-7B-Chat-Finetune**

> **描述：**  
本代码仓库提供 DeepSeek-llm-7B-Chat 模型的完整微调流程，支持高效地进行 LoRA 微调。项目整合 SwanLab 可视化工具，全程记录并监控训练过程中的关键指标，如损失、学习率变化等，帮助用户优化模型性能并直观分析训练效果。
 

## 🛠️ **环境设置**

### **1. 系统要求**
- **操作系统**：Windows / macOS / Linux  
- **Python 版本**：3.10 及以上  
- **CUDA 支持**：建议使用 CUDA 12.1 及以上（如使用 GPU 训练）

### **2. 安装依赖**

使用以下命令安装必要的依赖包：

```bash
torch
transformers
accelerate
peft
bitsandbytes
swanlab
```

或按照下面的代码直接安装环境：
```bash
pip install -r requirements.txt
```

## 🧩 **项目结构**

```plaintext
project-name/
│
├── README.md           # 项目介绍文档
├── requirements.txt    # 依赖包列表
├── finetune.py         # 微调主程序
├── reasoning.py        # 推理代码
├── data.py             # 数据集处理代码
├── merge_model.py      # 合并模型
├── pretrain_model/     # 模型地址
└── data/               # 数据集
```

## 📄 **详细文档**

详细文档和设置说明请参考以下链接：  
🔗 [知乎文档链接](https://zhuanlan.zhihu.com/p/9812641926)
🔗 [CSDN链接](https://blog.csdn.net/weixin_44312617/article/details/144239731)


## 📈 **运行代码**

分布式训练
```bash
torchrun --nproc_per_node=4 finetune.py
```

单线程训练
```bash
python finetune.py
```