vLLM 实测 Rubin NVL72 跑 DeepSeek-V4.1-Flash，吞吐达 GB300 的 58 倍
vllm_project · x · 2026-11-13
vLLM 团队发布博客：在一台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash，单 GPU 吞吐达 1.7M tokens/s、单用户仍有 387 tokens/s，为 GB300 NVL72 的 58 倍；峰值吞吐 2.52M tokens/s，单用户延迟路径可达 1,810 tokens/s (P90)。这是其 DeepSeek-V4.1-Flash 系列第三篇，前两篇分别覆盖 Day-0 适配与 GB300 机架上的 P/D 分离+Wide-EP。
四大优化方向：
- Rubin 定制 kernel：重写 MoE、attention、GEMM、mHC、indexer kernel，带宽受限数据留在各 SM 自己的内存域，利用 SM107 更宽的 MMA 指令；DEP2 prefill 提速约 28%、decode 约 25%。
- 专用 TP decode 路径：跨算子融合、计算通信重叠，模型以 TP8 铺在两个 tray 上，batch size 1 时达 1,810 tokens/s。
- Dynamo 感知负载的路由 + 机架级内存池：Mooncake KV 池覆盖全部 DRAM 与空闲 HBM，Engram 表经 NVLink 读取，高并发下命中率 96.5-97%。
工作由 Inferact 与 vLLM 团队主导，感谢 DeepSeek、NVIDIA、Mooncake 团队与 SemiAnalysis。
所属事件:vLLM 优化 Rubin：DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍(4 条相关)→
「Infra」频道最新
- 微软 M365 全球性故障:Outlook 宕机,自家用邮件也瘫痪 — Scobleizer · 2026-11-13
- 算账贴：三年仅百余 K 芯片流向，GPU 出口管制确实奏效 — bookwormengr · 2026-11-13
- NIDO 开源本地 AI 助手:模型、记忆、文档全留手机端离线运行 — NIDO_007 · 2026-11-13
- NVIDIA 研究员嘲讽美国算力路演：华为和 DeepSeek 闷声做自己的事 — suchenzang · 2026-11-13
- Azure SQL Always Encrypted:数据库读不了数据也能跑范围查询 — adnan_hashmi · 2026-11-13
- Liquid AI 的 LFM 在 MacBook Pro 上以 120 tps 跑出「大学毕业生级」智能 — JosephJacks_ · 2026-11-13