vLLM shares first DeepSeek V4.1 Flash results on NVIDIA Vera Rubin NVL72
vLLM 官方公布了 DeepSeek V4.1 Flash(552B,FP4)在 NVIDIA Vera Rubin NVL72 上的首批推理结果,测试由 NVIDIA Dynamo + vLLM 驱动,基于 SemiAnalysis 的 AgentX 基准。这一数据展示了下一代 NVIDIA 硬件对大模型推理的吞吐提升幅度,受到社区高度关注。
已确认
- vLLM 官方(@vllmproject)发布首批 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 上的推理结果,与 NVIDIA Dynamo 合作完成,基于 SemiAnalysis AgentX 基准。
- 与运行同套负载的 GB300 相比,单芯片吞吐最高达 93 倍;@woosukk 转述的另一项成绩为 63 倍吞吐,并提到 AI agent 参与了优化过程。
- bookwormengr 在其系列线程第 6 部分称,vLLM 与 SGLang 团队独立验证:在 DeepSeek V4.1 Flash 离峰价格下,Grace-Blackwell 与 Vera Rubin 芯片分别可实现每 GPU 每小时 38 美元级别的收入;单 GB300 机架吞吐达 954K tokens/s,对应每小时约 39 美元。
为什么重要
- 63-93 倍的单芯片吞吐差距并非单纯硬件代际提升所能解释,通常还涉及模型结构(如 FP4 量化的 552B 模型)、系统软件栈(Dynamo + vLLM)与基准设定的组合,具体测试口径可参考 SemiAnalysis AgentX。
- bookwormengr 的收入测算把吞吐数据换算为运营经济性(美元/GPU/小时),为评估推理算力投资回报提供了直观参照。
2026-11-16 ~ 2026-11-17 · 5 related posts
Primary sources
- First DeepSeek V4.1 Flash results on Vera Rubin NVL72: up to 93.3x per-chip throughput vs GB300 — vllm_project ·
- DeepSeek V4.1 Flash on Vera Rubin NVL72: 63-93x per-chip throughput vs GB300 in vLLM benchmarks — vllm_project ·
- vLLM serves DeepSeek V4.1-Flash at 954K tokens/s per GPU, $38.96/GPU-hour on GB300 NVL72 — bookwormengr ·
- [source] vLLM serves DeepSeek V4.1-Flash at 954K tokens/s per GPU, $38.96/GPU-hour on GB300 NVL72 — bookwormengr · 2026-11-16
- [source] First DeepSeek V4.1 Flash results on Vera Rubin NVL72: up to 93.3x per-chip throughput vs GB300 — vllm_project · 2026-11-17
- DeepSeek-V4.1-Flash Hits 63x Throughput on Vera Rubin, With AI Agent Doing the Optimization — woosuk_k · 2026-11-17
- DeepSeek V4.1 Flash hits up to 93.3x per-chip throughput on Vera Rubin NVL72 vs GB300 — Xianbao_QIAN · 2026-11-17
1 near-duplicate retellings: vllm_project