# lover_llama

**Repository Path**: cehs/lover_llama

## Basic Information

- **Project Name**: lover_llama
- **Description**: 聊天大模型:  主要流行模型 + 语料数据集 + 微调训练 + 模型格式转换 + 模型量化 + 模型部署
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 2
- **Created**: 2024-07-23
- **Last Updated**: 2025-04-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# lover_llama

#### 介绍

lover聊天大模型:  主流模型 + 语料数据集 + 微调训练 + 模型格式转换 + 模型量化 + 模型部署

#### 使用说明

```bash
git clone --recursive https://gitee.com/cehs/lover_llama.git
```

克隆时如果没使用 --recursive, 可以使用以下命令初始化子模块：
```bash
git submodule init
git submodule update
```

##### 1. 使用peft进行微调训练、合并模型，并自行编译llama.cpp来量化模型(训练非常慢，```推荐使用unsloth进行微调、合并、量化```)。
1.  [**主流模型**](./doc/Get-Original-Model.md)
2.  [**模型微调与合并**](./doc/Model-Fine-Tuning.md)
3.  [**模型格式转换**](./doc/Model-Format-Convert.md)
4.  [**模型量化**](./doc/Model-Quantization.md)
5.  [**模型部署**](./doc/Model-Deploy.md)

##### 2. 使用unsloth进行微调、合并、量化
1. 推荐在linux上使用unsloth，我选择使用WSL2的Linux环境(官方安装说明：[https://learn.microsoft.com/zh-cn/windows/wsl/](https://learn.microsoft.com/zh-cn/windows/wsl/))

WSL相关操作：
``` bash
将 WSL1转换到WSL2:
    wsl --update                # 更新wsl
    wsl --list --online         # 列出所有可用的子系统
    wsl --install <Distro>      # 安装指定的子系统
    wsl --set-default-version 2 # 将WSL2设置为默认版本
    wsl --list --verbose        # 查看所有安装的子系统
    wsl --unregister <Distro>   # 卸载指定的子系统
WSL 镜像迁移：
    wsl -l --all  -v                          # 列出所有可用的子系统
    wsl --export <Distro> d:\ubuntu20.04.tar  # 导出镜像
    wsl --unregister <Distro>                 # 删除子系统(可选)
    wsl --import <Distro> d:\ubuntu<安装位置> d:\ubuntu20.04.tar<tar文件名> --version 2 # 导入镜像
```

2. 安装GNU套件, 用来编译llama.cpp
```bash
sudo apt update                         # 更新
sudo apt install build-essential gdb -y # 安装gcc等
gcc -v && g++ -v && make -v             # 查看是否安装成功
```

3. 安装unsloth[[https://docs.unsloth.ai/get-started/installation/conda-install](https://docs.unsloth.ai/get-started/installation/conda-install)]，过程会遇到xformer等依赖版本问题，安装报错提示来安装相应版本的依赖。
4. 微调、合并、量化代码：`scripts/training/unsloth`
```bash
1. jupyterNotebook代码(推荐，出错时无需重新加载模型):
    Alpaca_+_Qwen2_7b_Unsloth_2x_faster_finetuning.ipynb
2. python代码:
    1SFTTrainer.py
    2QuantizationMerge.py
    3conversionGGUF.py
```

#### 相关处理
1.  [**支持的模型**](./doc/Supported-Models.md)
2.  [**语料数据集**](./datasets/README.md)