DeepSeek V4 私有化部署实战：vLLM 与 SGLang 方案对比
DeepSeek V4 于 2026 年 4 月发布，包含 V4-Flash（284B 参数，13B 活跃）和 V4-Pro（1.6T 参数，49B 活跃）两个版本，均采用 MIT 开源许可。本文讲解企业私有化部署 DeepSeek V4 的完整方案：硬件选型（V4-Flash 适合 2x H100/H200，V4-Pro 需要超大规模集群）、vLLM 与 SGLang 两种部署方式的对比和配置、多 GPU 张量并行设置、量化方案、以及为什么 SGLang 在 DeepSeek MoE 架构上性能优于 vLLM。
DeepSeek V4 于 2026 年 4 月发布，延续了 DeepSeek 一贯的开源策略——MIT 许可证，可以完全私有化部署，不需要向 DeepSeek 发送任何数据。
对于有数据合规要求（金融、医疗、政务）或安全敏感的企业来说，私有化部署是唯一合适的使用方式。本文讲清楚怎么部署。
DeepSeek V4 版本信息
DeepSeek V4-Flash
架构：MoE（Mixture of Experts）
总参数：284B
激活参数：约 13B（每次推理只激活一部分 Expert）
上下文：128K tokens
许可证：MIT（可商用，无限制）
→ 适合大多数企业：推理成本合理，能力强
DeepSeek V4-Pro
架构：MoE
总参数：1.6T
激活参数：约 49B
上下文：128K tokens
许可证：MIT
→ 适合对效果要求极高的场景，硬件要求大
MoE 架构的意义：
虽然总参数很大，但每次推理只用一小部分（激活参数）
V4-Flash 13B 的推理成本 ≈ 一个普通 13B 稠密模型
但效果接近同量级的稠密 70B 模型硬件选型
DeepSeek V4-Flash（推荐中等规模企业）
最低配置（FP8 量化）：
2x H100 80GB（每张 80GB，共 160GB）
或 2x H200 141GB（推荐，显存更充裕）
NVLink 互联（必须，不能用 PCIe）
推荐配置（FP16，效果更好）：
4x H100 80GB 或 4x H200 141GB
高速存储（NVMe SSD，模型加载更快）
DeepSeek V4-Pro（需要大规模集群）
最低：8x H200 141GB（NVLink）
推荐：16x H100 80GB 或 16x H200
适合：具备 AI 基础设施团队的大型企业
没有这些 GPU 的替代方案：
租用云 GPU（阿里云/腾讯云/百度云的 H800/A100 实例）
V4-Flash 量化到 INT4 可在 4x A100 80GB 上运行（精度有损失）
使用 DeepSeek 官方 API（不私有化）方案对比：vLLM vs SGLang
对于 DeepSeek V4 这类 MoE 模型，SGLang 有明显优势：
vLLM
✓ 部署简单，文档完善
✓ 社区大，问题容易找到解答
✗ MoE 模型优化不如 SGLang
✗ DeepSeek V4 上吞吐量约为 SGLang 的 1/3
SGLang
✓ 对 MoE 架构深度优化（RadixAttention + Expert 并行）
✓ DeepSeek V4 官方推荐的推理框架
✓ 结构化输出性能更强
✗ 相比 vLLM 配置略复杂
✗ 社区稍小
结论：DeepSeek V4 首选 SGLang使用 SGLang 部署（推荐方案）
安装
# 创建虚拟环境
python3 -m venv sglang-env
source sglang-env/bin/activate
# 安装 SGLang（含 FlashInfer 推理加速）
pip install sglang[all]
# 验证 GPU 可用
python -c "import torch; print(torch.cuda.device_count(), 'GPUs available')"下载模型
# 方式一：HuggingFace（国内可能需要镜像）
pip install huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com # 国内镜像
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash \
--local-dir /data/models/DeepSeek-V4-Flash
# 方式二：ModelScope（国内速度更快）
pip install modelscope
modelscope download --model deepseek-ai/DeepSeek-V4-Flash \
--local_dir /data/models/DeepSeek-V4-Flash启动 SGLang 推理服务
# 2x GPU 部署 V4-Flash（FP8 量化，节省显存）
python -m sglang.launch_server \
--model-path /data/models/DeepSeek-V4-Flash \
--tp 2 \ # tensor_parallel_size=2（跨 2 张 GPU）
--quantization fp8 \ # FP8 量化（H100/H200 原生支持）
--context-length 65536 \ # 上下文长度（按需调整）
--port 30000 \
--host 0.0.0.0 \
--enable-torch-compile \ # 开启 torch.compile 加速
--mem-fraction-static 0.85 # GPU 显存使用比例
# 4x GPU 部署 V4-Flash（FP16，效果最好）
python -m sglang.launch_server \
--model-path /data/models/DeepSeek-V4-Flash \
--tp 4 \
--dtype bfloat16 \
--context-length 32768 \
--port 30000 \
--host 0.0.0.0 \
--enable-torch-compile \
--mem-fraction-static 0.88
# 确认服务启动
curl http://localhost:30000/health
# {"status":"ok"}API 调用（OpenAI 兼容）
from openai import OpenAI
client = OpenAI(
api_key="no-key",
base_url="http://localhost:30000/v1"
)
# 普通对话
response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4-Flash",
messages=[
{"role": "system", "content": "你是一个专业的运维工程师助手"},
{"role": "user", "content": "Kubernetes Pod 一直处于 Pending 状态，如何排查？"}
],
max_tokens=1024,
temperature=0.6
)
print(response.choices[0].message.content)
# 结构化输出（JSON）
from pydantic import BaseModel
from typing import List
class TroubleshootingStep(BaseModel):
step: int
command: str
expected_output: str
action_if_failed: str
response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4-Flash",
messages=[{"role": "user", "content": "给出排查 K8s Pod Pending 的步骤，返回 JSON 格式"}],
response_format={"type": "json_object"},
max_tokens=2048
)
import json
steps = json.loads(response.choices[0].message.content)
print(steps)使用 vLLM 部署（备选方案）
如果你的团队更熟悉 vLLM，也可以用 vLLM 部署 V4-Flash，吞吐量稍低但使用习惯一致。
pip install vllm
# 2x GPU，FP8 量化
python -m vllm.entrypoints.openai.server \
--model /data/models/DeepSeek-V4-Flash \
--tensor-parallel-size 2 \
--quantization fp8 \
--max-model-len 32768 \
--gpu-memory-utilization 0.85 \
--port 8000 \
--host 0.0.0.0
# 调用方式与 SGLang 相同（改端口即可）性能基准参考
测试环境：4x H100 80GB NVLink，V4-Flash FP16
SGLang（tensor_parallel=4）：
吞吐量：约 1800 tokens/s（总）
TTFT（P50）：< 1s（32 并发）
推荐并发数：32-64
vLLM（tensor_parallel=4）：
吞吐量：约 600 tokens/s（总）
TTFT（P50）：约 1.5s（32 并发）
MoE 架构说明（为什么 SGLang 快这么多）：
MoE 模型每层有很多 Expert，但只激活少数几个
SGLang 对 Expert 路由做了深度优化（Expert 并行 + 批次调度）
vLLM 的 MoE 优化相对简单，Expert 利用率不如 SGLang生产配置建议
Systemd 服务（保证开机自启）
# /etc/systemd/system/deepseek-v4.service
[Unit]
Description=DeepSeek V4 Flash SGLang Server
After=network.target
[Service]
Type=simple
User=root
WorkingDirectory=/opt/deepseek
ExecStart=/opt/sglang-env/bin/python -m sglang.launch_server \
--model-path /data/models/DeepSeek-V4-Flash \
--tp 4 \
--quantization fp8 \
--context-length 32768 \
--port 30000 \
--host 0.0.0.0 \
--mem-fraction-static 0.85
Restart=on-failure
RestartSec=30
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="HF_HOME=/data/hf_cache"
[Install]
WantedBy=multi-user.targetsystemctl daemon-reload
systemctl enable deepseek-v4
systemctl start deepseek-v4
systemctl status deepseek-v4Nginx 反向代理（访问控制 + 负载均衡）
upstream deepseek_backend {
server 127.0.0.1:30000;
# 如果有多个推理节点，在这里添加
# server 192.168.1.2:30000;
}
server {
listen 443 ssl;
server_name ai.internal.company.com;
ssl_certificate /etc/ssl/certs/internal.crt;
ssl_certificate_key /etc/ssl/private/internal.key;
# API Key 验证（简单方案）
# 生产环境建议接入 OAuth2/LDAP
auth_basic "DeepSeek API";
auth_basic_user_file /etc/nginx/.htpasswd;
location /v1/ {
proxy_pass http://deepseek_backend;
proxy_set_header Host $host;
proxy_read_timeout 300s; # LLM 推理可能需要较长时间
proxy_buffering off; # 流式输出需要关闭缓冲
}
}数据安全注意事项
私有化部署的安全配置清单：
网络隔离：
□ 推理服务器不直接暴露到公网
□ 只允许内网访问（通过 VPN 或专线）
□ Nginx/API 网关做访问控制
访问控制：
□ API Key 鉴权（或 OAuth2）
□ 审计日志（记录谁在什么时间问了什么问题）
□ 按部门/角色做访问权限划分
数据留存：
□ 默认情况下 SGLang/vLLM 不持久化对话内容
□ 如需审计，在 Nginx 层或业务层做日志记录
□ 日志按数据合规要求做脱敏处理
模型安全：
□ 模型文件存放在访问受控的目录
□ 定期检查模型完整性（sha256 校验）
□ 不从不可信渠道下载模型权重小结
DeepSeek V4-Flash 是目前开源 MoE 模型中效果和部署成本平衡最好的选择之一。MIT 许可证、完整开源权重、无数据出境风险，满足大多数企业对 AI 落地的合规要求。
推理框架首选 SGLang——在 MoE 架构上性能优势明显，官方也推荐 SGLang 作为 DeepSeek 模型的首选推理引擎。2x H100 80GB 配合 FP8 量化即可流畅运行 V4-Flash，是当前企业私有化部署最可行的硬件起点。