vLLM 公布 DeepSeek V4.1 Flash 登上 Vera Rubin 首批成绩
vLLM 官方公布了 DeepSeek V4.1 Flash(552B,FP4)在 NVIDIA Vera Rubin NVL72 上的首批推理结果,测试由 NVIDIA Dynamo + vLLM 驱动,基于 SemiAnalysis 的 AgentX 基准。这一数据展示了下一代 NVIDIA 硬件对大模型推理的吞吐提升幅度,受到社区高度关注。
已确认
- vLLM 官方(@vllmproject)发布首批 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 上的推理结果,与 NVIDIA Dynamo 合作完成,基于 SemiAnalysis AgentX 基准。
- 与运行同套负载的 GB300 相比,单芯片吞吐最高达 93 倍;@woosukk 转述的另一项成绩为 63 倍吞吐,并提到 AI agent 参与了优化过程。
- bookwormengr 在其系列线程第 6 部分称,vLLM 与 SGLang 团队独立验证:在 DeepSeek V4.1 Flash 离峰价格下,Grace-Blackwell 与 Vera Rubin 芯片分别可实现每 GPU 每小时 38 美元级别的收入;单 GB300 机架吞吐达 954K tokens/s,对应每小时约 39 美元。
为什么重要
- 63-93 倍的单芯片吞吐差距并非单纯硬件代际提升所能解释,通常还涉及模型结构(如 FP4 量化的 552B 模型)、系统软件栈(Dynamo + vLLM)与基准设定的组合,具体测试口径可参考 SemiAnalysis AgentX。
- bookwormengr 的收入测算把吞吐数据换算为运营经济性(美元/GPU/小时),为评估推理算力投资回报提供了直观参照。
2026-11-16 ~ 2026-11-17 · 5 条相关
一手来源
- vLLM 曝 Vera Rubin NVL72 跑 DeepSeek V4.1 Flash,单芯片吞吐最高 93 倍于 GB300 — vllm_project ·
- vLLM 发布 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 首批推理成绩 — vllm_project ·
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr ·
- 【源头】vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 【源头】vLLM 曝 Vera Rubin NVL72 跑 DeepSeek V4.1 Flash,单芯片吞吐最高 93 倍于 GB300 — vllm_project · 2026-11-17
- DeepSeek-V4.1-Flash 在 Vera Rubin 上跑出 63 倍吞吐,AI agent 参与优化 — woosuk_k · 2026-11-17
- DeepSeek V4.1 Flash 跑上 Vera Rubin:单芯片吞吐最高达 GB300 的 93 倍 — Xianbao_QIAN · 2026-11-17
另有 1 条近重复转述:vllm_project