vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍
vllm_project · x · 2026-11-13
vLLM 团队宣布针对 Vera Rubin NVL72 优化 DeepSeek-V4.1-Flash 推理,在 SemiAnalysis AgentX 基准上取得关键数据:
- P90 387 tokens/s/用户下达到 170 万 tokens/s/GPU,为 GB300 NVL72 的 58 倍
- 峰值吞吐 252 万 tokens/s/GPU,是 GB300 的 2.7 倍
- 单并发 + TP 下 1,810 tokens/s
技术层面,团队为 Rubin 重写了 MoE、attention、GEMM、mHC 和 indexer 内核:带宽受限数据留在每个 SM 自己的内存域,利用 SM107 更宽的 MMA 指令提升每条指令的工作量,prefill 快约 28%、decode 快约 25%。专用 decode 路径为 SM107 重构,核心思路是把 all-reduce 融进后续内核、共享专家并入 routed GEMM、提前发起加载,消除小内核链中的延迟空隙。
所属事件:vLLM 优化 Rubin：DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍(4 条相关)→
「Infra」频道最新
- 「新加坡」占英伟达营收 15-20%,评论区调侃早有征兆 — JensHonack · 2026-11-13
- SGLang Summit 议程曝光:LinkedIn 广告模型 10K QPS 延迟低于 80ms — DavidBennett__ · 2026-11-13
- 开源权重会泄露训练用 GPU：取证方法显示六款中国新模型用的是 Blackwell — Antique_Atmosphere97 · 2026-11-13
- SGLang 首发优化 Inkling 2 Small：单用户 576 tok/s — LiTianleli · 2026-11-13
- 梗图科普：CUDA 就是为并行许多 Alice Huang 而优化 — djcows · 2026-11-13
- Perplexity Mac 版惊现本地模型选项,桌面端或将支持离线运行 — dnlkwk · 2026-11-13