From 7cf536c6026c645c7c1ea55b01cd10bc6dca5760 Mon Sep 17 00:00:00 2001
From: fengchu2022 <sdzt22@163.com>
Date: Thu, 17 Apr 2025 10:29:54 +0000
Subject: [PATCH] =?UTF-8?q?update=20DeepSeek=E6=9C=AC=E5=9C=B0=E5=8C=96?=
 =?UTF-8?q?=E9=83=A8=E7=BD=B2.md.?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

Signed-off-by: fengchu2022 <sdzt22@163.com>
---
 ...60\345\214\226\351\203\250\347\275\262.md" | 90 +++++++++++++++++++
 1 file changed, 90 insertions(+)

diff --git "a/DeepSeek\346\234\254\345\234\260\345\214\226\351\203\250\347\275\262.md" "b/DeepSeek\346\234\254\345\234\260\345\214\226\351\203\250\347\275\262.md"
index 4e1ff53..d13fcd7 100644
--- "a/DeepSeek\346\234\254\345\234\260\345\214\226\351\203\250\347\275\262.md"
+++ "b/DeepSeek\346\234\254\345\234\260\345\214\226\351\203\250\347\275\262.md"
@@ -1 +1,91 @@
 # DeepSeek 本地化部署
+## vllm 部署
+## 以deepseek-r1:70b为例子：
+```bash
+docker run -d \
+  --name vllm-70b \
+  --gpus '"device=1,2"' \
+  --shm-size=64g \
+  -e NCCL_DEBUG=INFO \
+  -p 10001:10001 \
+  -v /data1/llms:/models \
+  vllm/vllm-openai:latest \
+  --model /models/70b \
+  --served-model-name deepseek-r1:70b \
+  --tensor-parallel-size 2 \
+  --gpu-memory-utilization 0.9 \
+  --trust-remote-code \
+  --dtype bfloat16 \
+  --max-model-len 8192 \
+  --api-key 123456 \
+  --host 0.0.0.0 \
+  --port 10001
+
+### 参数解读
+
+#### 1. 容器基础配置
+1. **-d**  
+   后台模式运行，适合生产环境持续服务
+
+2. **--name vllm-70b**  
+   指定容器名称便于管理，支持命令：
+   ```bash
+   docker logs vllm-70b  # 查看日志
+   docker exec -it vllm-70b bash  # 进入容器
+   ```
+
+---
+#### 2. GPU 资源配置
+3. **--gpus "device=1,2"**  
+   显式指定GPU设备，要求：
+   - 已安装NVIDIA驱动
+   - 已配置nvidia-container-toolkit
+
+4. **--tensor-parallel-size 2**  
+   2卡张量并行推理，需满足：
+   - GPU数量匹配参数值
+   - 设备支持NVLink/PCIe高速互联
+
+5. **--gpu-memory-utilization 0.9**  
+   显存利用率上限（推荐0.8-0.95）
+
+---
+#### 3. 内存与存储
+6. **--shm-size=64g**  
+   共享内存扩容，解决：
+   - DataLoader内存不足问题
+   - 多进程数据加载错误
+
+7. **-v /data1/llms:/models**  
+   模型目录挂载，实现：
+   - 免重复下载模型
+   - 支持权重热更新
+
+---
+#### 4. 网络与安全
+8. **-p 10001:10001**  
+   端口映射建议：
+   - 搭配防火墙规则
+   - 限制访问源IP
+
+9. **--api-key 123456**  
+   API密钥安全规范：
+   - 需替换为复杂字符串
+   - 定期轮换密钥
+
+---
+#### 5. 模型服务参数
+10. **--model /models/70b**  
+    模型路径要求：
+    ```bash
+    /models/70b
+    ├── config.json
+    └── model.safetensors
+    ```
+
+11. **--dtype bfloat16**  
+    精度要求：
+    - GPU需支持Ampere架构及以上
+
+12. **--max-model-len 8192**  
+    上下文长度需与模型训练配置一致
\ No newline at end of file
-- 
Gitee