Baseten 开源 WavePP:同卡同核 prefill 吞吐最高提升 2.9 倍

baseten · x · 2026-11-20

Baseten 发布 WavePP,一个构建在 TensorRT-LLM 之上的管线并行(PP)prefill 运行时。核心思路是让每个 PP 阶段作为独立的轻量模型 worker 运行,各自持有 KV cache 并独立做请求准备,将请求接纳与流水线执行重叠:异步找出可被所有阶段复用的前缀、保护缓存状态、为剩余输入预留空间,并动态规划每个请求的 chunk 大小以最大化流水线填充。

实验结果:

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →