vLLM 在 GB300 NVL72 上跑出 DeepSeek-V4.1-Flash 最佳成绩：单卡 954K tokens/s
woosuk_k · x · 2026-10-25
vLLM 团队公布在 SemiAnalysis AgentX 真实 agentic 工作负载上的最新优化结果，创下 DeepSeek-V4.1-Flash 的历史最佳成绩。
- 部署架构：在 GB300 NVL72 机架上采用 P/D 分离（prefill/decode disaggregation）+ Wide-EP 扩展，性能达单机部署的 7.9 倍
- 关键数据：单 GPU 总吞吐（缓存+输入+输出）954K tokens/s，每用户 P90 交互速度 196 tokens/s
- 经济性：按 DeepSeek 非高峰定价计算，每 GPU 小时收入 $38.96
- 团队称同时超越了 DeepInfer 的表现，并发布工程博客详解优化过程与复现方法
SemiAnalysis 的对比图显示，Dynamo vLLM 在 GB300 NVL72 上大幅领先 GB200/SGlang、MI300X、H100 等其他配置的吞吐-交互曲线。
所属事件:vLLM 追平 DeepSeek 自研 DeepInfer，GB300 单卡跑出 954K tokens/s(8 条相关)→
「Infra」频道最新
- 网友晒 8x3090 自组机:192GB VRAM + 256GB RAM 跑本地模型 — generativist · 2026-10-25
- 有人提醒：AI发展绕不开的终极约束是热力学定律 — AryHHAry · 2026-10-25
- 整理 18 组 ComfyUI 实测：GPU unlock 后 BF16 提速远超 INT8 — Acceptable_Put9983 · 2026-10-25
- 博主复盘 Kimi K3 爆火，猜国内将释放部分 B300 — lipeng0820 · 2026-10-25
- H100/H200 一卡难求:新模型密集发布致 GPU 供应商全面缺货 — abhijithneil · 2026-10-25
- 马斯克警告：半建成数据中心将出现大量搁浅算力 — elonmusk · 2026-10-25