流水线并行逆袭:MiniMax-M3.1-Flash 上 PP2 每 GPU 吞吐高 23%
woosuk_k · x · 2026-11-17
inferact 团队提出:流水线并行(PP)因 pipeline bubble 很少用于 prefill,但 agentic serving 的负载特征改变了这一点。
- 在 MiniMax-M3.1-Flash + vLLM、两张 NVIDIA B300 上的实测:在 2 秒 p50 TTFT 目标下,PP2 每 GPU 持续承载的请求数比 DEP2 高 23%,比 TP2 高 17%。
- 压测曲线显示:每 GPU 请求速率约 2.8/s 以下 TP2 的 p50 TTFT 最低,超过该点后 PP2 占优;每种布局各 3 组 60 秒 Poisson 请求(种子 42/43/44)取中位数。
「Infra」频道最新
- 哈佛研究:超大规模数据中心已占全美用电量近 2% — Polymarket · 2026-11-17
- 老 GPU 工程师把 Qwen 3.8 27B 在 5090 笔记本跑出 500 tok/s — tebjan · 2026-11-17
- 斯坦福学者:为模型定制芯片可带来数倍效率提升,定制芯片将迎来寒武纪爆发 — agihouse_org · 2026-11-17
- GPU 排障直播:PyTorch 重编译尖峰与集群级性能剖析案例 — cfregly · 2026-11-17
- 美国数据中心耗电已超中等国家,电力成 AI 新瓶颈? — Dense_Primary629 · 2026-11-17
- 594B 开源模型跑进 4 台 DGX Spark,NVIDIA 随即开卖四机环套件 — AIFlow_ML · 2026-11-17