vLLM 宣布复现 DeepSeek 推理性能，每 GPU 时收入达 39 美元
vllm_project · x · 2026-10-21
vLLM 项目官方宣布，借助 Wide-EP 与 EPLB，开源 vLLM 已能复现 DeepSeek 的推理性能：在 DeepSeek 的 decode 配置（DeepSeek-V4.1-Flash、131K 上下文、nextn=3）下，GB200 上 vLLM 在 batch 8–256 全区间与 DeepInfer 公布的解码吞吐差距在 6% 以内。
在 AgentX 智能体工作负载上，vLLM 在 GB300 上进一步推进 Pareto 前沿，单 GPU 吞吐最高达 100 万 tokens/s，在 196 P90 TPS 下按 DeepSeek 非高峰 API 定价计算，每 GPU 每小时可产生约 38.96 美元收入。团队还为 V4.1-Flash 扩展了低延迟内核支持，单用户最高 826 TPS。
「Infra」频道最新
- 推测解码 EAGLE-4 开源,单一 Drafter 适配全批次与硬件 — rohanpaul_ai · 2026-10-21
- vLLM 专用解码路径实测：四张 B300 单用户延迟快 26% — vllm_project · 2026-10-21
- vLLM 实测：解码性能已可匹敌 DeepSeek 官方 DeepInfer，差距仅 6% 以内 — vllm_project · 2026-10-21
- AMD 携手 EAGLE 团队推出 EAGLE-4：MI355X 上投机解码最高提速 1.6 倍 — hongyangzh · 2026-10-21
- TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
- Modal 团队用自研 Sticky Sessions 复活经典网页游戏 Curvytron — charles_irl · 2026-10-21