vLLM 曝 Vera Rubin NVL72 跑 DeepSeek V4.1 Flash,单芯片吞吐最高 93 倍于 GB300

vllm_project · x · 2026-11-17

vLLM 官方宣布首批 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的推理结果,由 Dynamo + vLLM 驱动,基于 SemiAnalysis 的 AgentX 基准测试。

与运行同样 Dynamo + vLLM 栈的 GB300 NVL72 相比,InferenceX 性能标尺显示单芯片总 token 吞吐:

配图显示在低交互性区间两者差距为 3-65 倍,差距随 P90 交互性要求提高而急剧拉大——GB300 在约 400 tok/s/user 后吞吐归零,而 Vera Rubin 可延伸到 1800 以上。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →