# Learn-LLM-Deploy-Easily

**Repository Path**: coderwillyan/learn-llm-deploy-easily

## Basic Information

- **Project Name**: Learn-LLM-Deploy-Easily
- **Description**: 轻松学AI系列之： 轻松学习LLM大语言模型部署
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2025-03-31
- **Last Updated**: 2025-11-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README



# Learn LLM Deploy Easily - 大模型轻松部署指南

一个系统化的 **大模型私有化部署学习项目**，涵盖了从 **智算服务器环境准备** 到 **主流推理框架 (Ollama / vLLM / Xinference)** 的完整部署流程。
适合 **LLM 工程入门者** 和 **企业本地化应用开发者**，提供了详细的环境搭建手册、部署教程和可视化指南。



## 📁 项目结构

```
learn-llm-deploy-easily/
│
├── assets/                 # 资源文件（如图片、配置文件等）
│
├── 01_智算服务器准备/        # 01 - Compute Server Preparation
├── 02_大模型私有化部署/      # 02 - LLM Privatization Deployment
├── 03_01部署实践-ollama/    # 03_01 - Hands-on: Ollama
├── 03_02部署实践-vllm/      # 03_02 - Hands-on: vLLM
├── 03_03部署实践-xinference/ # 03_03 - Hands-on: XInference
├── 04_大模型厂家提供API/     # 04 - Vendor-provided APIs
├── 05_本地模型调用汇总/      # 05 - Summary of Local Model Inference
│
└── README.md              # 项目总说明（本文档）
```

## 📚 学习线路

请按顺序阅读和实践，以构建完整的知识体系：

### 第一阶段：环境准备

1. **【01_智算服务器准备】**：学习如何配置和选择适合大模型运行的硬件环境（如GPU服务器）及基础软件环境。
2. **【02_大模型私有化部署】**：理解将大模型部署在自有环境中的核心概念、优势和常见方案。

### 第二阶段：部署工具实践（选择一种或全部学习）

1. **【03_01部署实践-ollama】**：使用 Ollama 在本地快速部署和运行开源大模型，适合入门和开发测试。
2. **【03_02部署实践-vllm】**：学习使用 vLLM 这一高性能推理引擎，适用于生产环境，注重吞吐量和延迟。
3. **【03_03部署实践-xinference】**：掌握使用 XInference 部署和管理模型，它提供了模型管理和服务化的能力。

### 第三阶段：应用与集成

1. **【04_大模型厂家提供API】**：了解如何调用 OpenAI、智谱AI等国内外大模型厂商提供的云端 API 服务。
2. **【05_本地模型调用汇总】**：汇总对比不同本地部署方式的调用方法，方便在实际项目中快速选择和集成。

---

## 🚀 快速开始

### 1. 克隆项目

```bash
git clone git clone https://gitee.com/coderwillyan/learn-llm-deploy-easily.git
cd learn-llm-deploy-easily
```

### 2. 创建虚拟环境

推荐使用 **Python 3.10+**：

**推荐在Ubuntu裸机环境运行**：

```bash
conda create -n env_vllm python=3.12 -y
conda activate env_vllm

pip install ipykernel
python -m ipykernel install --user --name=env_vllm --display-name "Python3 (env_vllm)"
```

### 3. 按目录学习

按照学习线路的顺序，进入各个目录查看详细的教程和代码：

```
cd 01_智算服务器准备/
# 阅读该目录下的文档和实践代码
```

---