vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元

bookwormengr · x · 2026-11-16

bookwormengr 线程第 6 部分:vLLM 与 SGLang 团队独立验证了在 DeepSeek V4.1 Flash 离峰价格下,Grace-Blackwell 与 Vera Rubin 芯片分别可实现每 GPU 每小时 38 美元与 102 美元的收入。vLLM 官方博客详述:在单台 NVIDIA GB300 NVL72 机架上,用 P/D 分离与 Wide-EP 在 SemiAnalysis AgentX 负载下达到每 GPU 954K tokens/s、用户 P90 196 tokens/s,比此前单节点结果提升 7.9 倍,折合每 GPU 小时 38.96 美元;解码吞吐与 DeepSeek 自研引擎 DeepInfer 相差在 6% 以内,证明通用推理引擎可以追平专用引擎。配图还显示 Vera Rubin 峰值工作点达 2.52M tokens/s/GPU、约 102.91 美元/GPU 时,吞吐较 GB300 高 2.64 倍。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →