SemiAnalysis:vLLM 分离式推理达每美元 13 亿 tokens,较 B300 聚合部署提升 4 倍
woosuk_k · x · 2026-10-18
SemiAnalysis 报告其 AgentX 基准中，vLLM 项目与 inferact 通过分离式（disaggregated）serving，在超大规模云批量采购价的 TCO 口径下实现每美元 13 亿 tokens 的吞吐，比 B300 聚合配置高 4 倍（4.01x）。
- 测试模型为 DeepSeek V4.1 Flash，对比 GB300 NVL72（Dynamo vLLM）与 B300（vLLM）配置，衡量「每 $ TCO 总 tokens」与 P90 交互性（tok/s/user）
- 最优配置为 10×DEP2+1×DEP16，在约 100 tok/s/user 的交互性下达到 1.3B tokens/$；B300 TP4 聚合配置虽可到 600+ tok/s/user，但每美元 tokens 产出低一个数量级
- 结论：P/D 分离部署在 TCO 效率上大幅优于聚合部署，代价是单用户交互性下降
「Infra」频道最新
- 台积电放话:"绝不给对手留下任何残羹"，AI 芯片竞争升级 — Beth_Kindig · 2026-10-18
- 16GB AMD 显卡跑 48GB 需求的 Drama 3：Red Curtain 魔改方案实测 — fechyyy · 2026-10-18
- Agent 用户周末狂跑 DeepSeek V4.1 Flash,DeepInfra 降价 51% — gharik · 2026-10-18
- a16z 不投 neocloud 内幕:借债囤 GPU 对标 2000 年带宽泡沫 — markjeffrey · 2026-10-18
- 16GB 显卡跑不动现代模型，Reddit 用户吐槽本地 AI 门槛飙升 — 2MuchNonsenseHere · 2026-10-18
- Meta 工程师发布 448G 机架内互连路线图:PAM6 成候选,有源铜缆延长传输距离 — StewartalsopIII · 2026-10-18