vLLM 宣布复现 DeepSeek 推理性能，吞吐与延迟双双占优
vLLM 项目于 10 月 21 日宣布，借助 Wide-EP 与 EPLB 两项技术，开源 vLLM 已能复现 DeepSeek 官方公布的 DeepInfer 推理性能，且在低延迟场景同样占优。这一结果意味着 DeepSeek 级别的服务化推理能力不再被官方栈独占，对开源推理生态和推理服务经济性都有直接参考价值。
已确认
- 在 DeepSeek 的 decode 配置（DeepSeek-V4.1-Flash、131K 上下文、nextn=3）下，vLLM 在 GB300 上可达到约 1M tokens/s/GPU 的吞吐，与 DeepSeek 官方 DeepInfer 的解码性能差距在 6% 以内。
- 对应的收入口径为每 GPU 时 39 美元。
- 低延迟方面：在真实 AgentX 会话中，vLLM 专用解码路径在 4 张 B300 GPU 上实现单用户 P90 TPS 829，比 GB300 标准解码路径快 26%。
- 团队在帖中对 DeepSeek 及相关贡献方致谢，并补充数据解释了 $39/GPU 时的测算依据。
为什么重要
- 此前 DeepSeek 公布的高吞吐数字主要由其自研栈实现，第三方开源栈长期难以完全复现；vLLM 给出的 6% 以内差距表明开源路线在顶级硬件上已接近官方水平。
- 同时覆盖高吞吐（多用户服务）与低延迟（单用户体验）两个维度，说明这不是单一指标的优化，而是可实际部署的服务能力。
- $39/GPU 时的收入数据为推理服务商业化可行性提供了具体参照。
2026-10-21 ~ 2026-10-21 · 5 条相关
一手来源
- vLLM 宣布复现 DeepSeek 推理性能，每 GPU 时收入达 39 美元 — vllm_project ·
- vLLM 实测：解码性能已可匹敌 DeepSeek 官方 DeepInfer，差距仅 6% 以内 — vllm_project ·
- vLLM 专用解码路径实测：四张 B300 单用户延迟快 26% — vllm_project ·
- 【源头】vLLM 宣布复现 DeepSeek 推理性能，每 GPU 时收入达 39 美元 — vllm_project · 2026-10-21
- 【源头】vLLM 实测：解码性能已可匹敌 DeepSeek 官方 DeepInfer，差距仅 6% 以内 — vllm_project · 2026-10-21
- 【源头】vLLM 专用解码路径实测：四张 B300 单用户延迟快 26% — vllm_project · 2026-10-21
- vLLM 补充数据：单用户 829 P90 TPS，比 GB300 标准路径快 26% — vllm_project · 2026-10-21
另有 1 条近重复转述:zhuohan123