vLLM 单机架跑出 95.4 万 token/s/GPU，追平 DeepSeek 自研引擎并扩至 GB300 NVL72
vllm_project · x · 2026-10-25
vLLM 发布工程博客《Serving DeepSeek-V4.1-Flash at Scale》，核心结果与要点：
- 追平 DeepInfer：在 DeepSeek 官方 decode 配置、batch 8–256 全区间，vLLM decode 吞吐与 DeepSeek 自研引擎 DeepInfer 差距在 6% 以内，prefill 曲线亦对齐；vLLM 用 DEP32 对阵 DeepInfer 的 EP64DP64。DeepInfer 本就基于 vLLM 构建。
- 单机架扩展：在 GB300 NVL72 上采用 P/D 分离 + Wide-EP，SemiAnalysis AgentX 负载下达 954K tokens/s/GPU、单用户 P90 196 tokens/s，是此前单节点结果的 7.9 倍；按 DeepSeek 低峰电价折算约 $38.96/GPU·小时。专用 decode 路径单用户可达 826 tokens/s。
- 关键优化与经验：先理解模型再优化；小 DEP 实例最适合 prefill；Wide-EP decode 配合 EPLB 扩展良好；NVL72 规模下 CPU 开销成为瓶颈。
结论：通用引擎靠成熟组件的工程优化即可匹敌模型专属引擎。
所属事件:vLLM 追平 DeepSeek 自研引擎 DeepInfer 推理性能(2 条相关)→
「Infra」频道最新
- PCIe switch 能否优化 GPU+RAM+NVMe 混合推理配置 — HankYeomans · 2026-10-25
- 追问 PCIe switch 方案:几张卡才值得上? — HankYeomans · 2026-10-25
- AI 创业公司最抢手的商务岗位：搞定算力与推理合同 — annbordetsky · 2026-10-25
- 不用 PCIe 拆分,一个插槽借 PCIe switch 挂多卡跑推理 — net_termina · 2026-10-25
- 二手 DGX Spark 叫价 6200 美元,两台可组 256GB 统一内存 — AIFlow_ML · 2026-10-25
- SGLang 追平 DeepInfer:GB300 上解码吞吐提升 7.4% — BanghuaZ · 2026-10-25