vLLM 实测:解码性能已可匹敌 DeepSeek 官方 DeepInfer,差距仅 6% 以内

vllm_project · x · 2026-10-21

vLLM 团队宣布,借助 Wide-EP 与 EPLB,vLLM 可以复现 DeepSeek 公布的 DeepInfer 解码性能:在 DeepSeek 的解码配置(DeepSeek-V4.1-Flash、131K 上下文、nextn=3)下,GB200 上的吞吐与 DeepSeek 官方数字差距在 6% 以内,并按 DeepSeek 非高峰定价折算出每 GPU 每小时约 39 美元的收入(AgentX 负载、200 P90 TPS)。

关键在于 vLLM 持续集成了 DeepSeek 的内核库(MegaAttn、MegaMoE、Mega-mHC 等)并对栈的其他部分做了可扩展优化——内核基本相同,因此两套引擎的性能大致持平。团队称「复现 DeepSeek 性能,vLLM 就够了」,并公开了详细复现配方。

所属事件:vLLM 复现 DeepSeek 推理性能,低延迟场景领先(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →