vLLM 在 GB300 机架跑出单卡 95 万 token/s,服务 DeepSeek V4.1-Flash

woosuk_k · x · 2026-10-25

vLLM 团队宣布用 P/D 分离与 Wide-EP 在 GB300 NVL72 机架上服务 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 真实负载下达到单 GPU 954K tokens/s、单用户 P90 196 tokens/s,是其单节点结果的 7.9 倍，并发布工程博客详解优化与基准方法。

DeepSeek 研究员 Yifan Qiao 强调：用随机输入和理想化专家路由很容易把推理基准做漂亮，但难的是让数字在真实负载上成立——他们的基准采用真实输入分布、真实专家路由，且与 SemiAnalysis AgentX 验证过的服务配置一致。配图显示 GB300 NVL72(Dynamo vLLM)在吞吐/交互性曲线上远超 H100、MI355X、B200 等配置，结果自 10 月 20 日起已在线，早于 DeepInfer 发布。