vLLM 在 GB300 NVL72 上跑出 954K tokens/s/卡,服务 DeepSeek V4.1-Flash
vllm_project · x · 2026-10-25
vLLM 官方宣布,通过 P/D 分离(Prefill/Decode disaggregation)与 Wide-EP,在单台 GB300 NVL72 机架上为 SemiAnalysis AgentX 基准服务 DeepSeek V4.1-Flash,达到每 GPU 95.4 万 tokens/s 的吞吐、每用户 P90 196 tokens/s,是单节点方案的 7.9 倍。致谢 DeepSeek 的开放、NVIDIA 的深度协作与 SemiAnalysis 的 AgentX,工程主体由 inferact 团队完成,并发布了配套工程博客。
「Infra」频道最新
- Jev 生态爆发：7.1 秒订机票浏览器 Agent 等 5 个开源项目盘点 — udmrzn · 2026-10-25
- AWS Interconnect 三云互通:营收不明但战略信号强烈 — DavidLinthicum · 2026-10-25
- CMU 教授买 B300 想转租跑 DeepSeek 代币给全实验室发工资 — niloofar_mire · 2026-10-25
- 五大超大规模厂商 2029 年折旧将达 5900 亿美元 — GaryMarcus · 2026-10-25
- vLLM 追平 DeepSeek 自研引擎 DeepInfer 的 V4.1-Flash 推理性能 — vllm_project · 2026-10-25
- 英国人均发电量跌破 1970 年代，KOL 哀叹 AI 算力时代掉队 — NinaDSchick · 2026-10-25