缓存命中 98% 时 prefill 多快才够？实测 400-600 t/s 已够用

nomorebuttsplz · reddit · 2026-09-03

发帖人探讨哪些工作负载真正受 prefill 瓶颈限制。他给出实测数据：在 opencode 编码场景中缓存命中率几乎总是 98% 以上，400-600 t/s 的 prefill 已足够——75-90% 时间花在 decode 上，即便 prefill 无限快，吞吐最多再提升约 25%。

他还指出低缓存命中不等于 prefill 瓶颈：用 GLM 5.3 跑研究 agent 时，即便 prefill 仅约 150 t/s、缓存命中只有个位数，仍因 max mode 下 decode 只有 15 t/s 而把 90% 以上时间耗在生成上。帖子在征集其他 prefill-bound 的真实工作负载案例。