vLLM 单机架吞吐提升 7.9 倍,追平 DeepSeek 自研推理引擎
Xianbao_QIAN · x · 2026-10-25
vLLM 团队发布长文,详解如何在单台 NVIDIA GB300 NVL72 机架上大规模服务 DeepSeek-V4.1-Flash。
- 用 P/D 分离 + Wide-EP,在 SemiAnalysis AgentX 基准上达到每 GPU 954K tokens/s 吞吐(P90 每用户 196 tokens/s),较此前单机结果提升 7.9 倍
- 成本约 $38.96/GPU·小时(按 DeepSeek 错峰价测算)
- 专用 decode 路径单用户可达 826 tokens/s
- 与 DeepSeek 自研引擎 DeepInfer 对比:decode 吞吐在 batch 8–256 范围内差距在 6% 以内,prefill 曲线基本重合——通用引擎可追平模型专用引擎
文中逐项拆解优化要点:先理解模型再优化、小 DEP 实例更适合 prefill、Wide-EP 配合 EPLB 扩展良好、NVL72 规模下 CPU 开销成为瓶颈等。优化均基于 vLLM 现有组件与 DeepSeek 开源的 kernel。
所属事件:vLLM 追平 DeepSeek 自研引擎 DeepInfer，GB300 单卡 954K tokens/s(9 条相关)→
「Infra」频道最新
- RTX 2080 Ti 22GB 改装卡解锁成功，Tensor 算力提升 85% — bdsqlsz · 2026-10-25
- DeepSeek 被指最擅长榨干消费级 GPU：内存带宽优先架构或成王牌 — teortaxesTex · 2026-10-25
- Brex 数据：2026 秋季增长最快 25 家软件公司，Agent 算力租用暴增 — FinanceYF5 · 2026-10-25
- SpaceX 每 GW 算力变现约 500 亿美元，回本仅一年碾压 CoreWeave — elonmusk · 2026-10-25
- DeepSeek 内部爆料：infra 是老大，可一票否决研究决策 — teortaxesTex · 2026-10-25
- DeepInfer 为 DeepSeek 4.1F 深度定制：KV cache 每 token 仅 890 字节 — teortaxesTex · 2026-10-25