Baseten 开源 WavePP:同卡同核 prefill 吞吐最高提升 2.9 倍
baseten · x · 2026-11-20
Baseten 发布 WavePP,一个构建在 TensorRT-LLM 之上的管线并行(PP)prefill 运行时。核心思路是让每个 PP 阶段作为独立的轻量模型 worker 运行,各自持有 KV cache 并独立做请求准备,将请求接纳与流水线执行重叠:异步找出可被所有阶段复用的前缀、保护缓存状态、为剩余输入预留空间,并动态规划每个请求的 chunk 大小以最大化流水线填充。
实验结果:
- 在 GLM-5.2(PP4)上高前缀复用时 prefill 吞吐最高提升 2.91 倍,MiniMax M2.7 上 2.02 倍;40 组测试中 37 组优于 TensorRT-LLM 基线。
- 28 组 Kimi K3 设置中,并发 ≥8 的 18 组全部取得最高实测吞吐。
- 关键点:同样的 kernel、同样的 GPU,纯运行时调度层面的收益。
「Infra」频道最新
- 传黄仁勋考虑创办全新芯片公司,称首日即可募数百亿美元 — cuijiaxun · 2026-11-20
- DeepMind 研究院发文推演 AGI 到 ASI:有效算力每年至少增长 10 倍 — daniel_mac8 · 2026-11-20
- AMD 官方否认做空报告,称其歪曲业务实践,股价曾暴跌 13% — BenBajarin · 2026-11-20
- eBay 出现 8000 美元 RTX Pro 6000,发帖人提醒谨防骗局 — QuanstScientist · 2026-11-20
- 华为昇腾 GPU 首批渲染视频流出,实机画面首度曝光 — GabGarrett · 2026-11-20
- NVIDIA 演示用两条提示词构建可直接用于训练的数据集 — NVIDIAAI · 2026-11-20