vLLM 称可复现 DeepSeek 推理性能，GB300 上达 1M tokens/s/GPU
zhuohan123 · x · 2026-10-21
vLLM 项目宣布，借助 Wide-EP 与 EPLB，vLLM 可以复现 DeepSeek 的推理性能表现。
- 在 DeepSeek 的 decode 配置下（DeepSeek-V4.1-Flash、131K 上下文、nextn=3），vLLM 在 GB200 上的吞吐量在 batch size 8–256 范围内与 DeepInfer 公布的结果差距在 6% 以内
- 在 AgentX 工作负载上，vLLM 在 GB300 上进一步推进 Pareto 前沿，最高达 1M tokens/s/GPU，按 DeepSeek 错峰 API 定价计算可产生约 38.96 美元/卡/小时的收入（196 P90 TPS）
- vLLM 还为此扩展了低延迟 kernel 支持
所属事件:vLLM 复现 DeepSeek DeepInfer 推理性能，差距 6% 以内(6 条相关)→
「Infra」频道最新
- FireTrident：80 个编码 Agent 共享一个仓库，62 秒清零 Hono 958 条违规 — dinasaur_404 · 2026-10-21
- 传 xAI 因中国光模块受限,转向 ACC/AEC 与铜互连 — jwt0625 · 2026-10-21
- a16z 旧金山堆场爆满：fal、ElevenLabs 等谈推理系统扩展 — venturetwins · 2026-10-21
- Baseten 零日上线三款新开源模型，自称基准与生产流量双第一 — baseten · 2026-10-21
- Modal 工程团队详解 Serverless 推理路由的粘性会话设计 — blelbach · 2026-10-21
- 西湖浙大发 EdgeKernelBench:LLM 生成边缘端内核正确率 64.5% 仅 25.5% 够快 — encodelab · 2026-10-21