Pi 公开缓存行为，社区争论 agent harness 是否在烧 KV cache
mitsuhiko · x · 2026-07-23
Mitsuhiko 说，Pi 最近把自己的 cache 行为展示得更清楚了；之所以这么做，是因为社区一直在争论：各种 agent harness 到底是在帮忙，还是在悄悄把缓存烧光。
这条帖子的核心是顺手引出一篇对 KV cache 的解释：
- KV cache 在推理里到底怎么工作
- 为什么缓存可见性对 LLM serving 很重要
- Pi 在缓存效率上到底帮了什么、又没帮什么
它本质上是一条偏 推理基础设施 的技术说明，而不是模型发布。
「Infra」频道最新
- 中国开源模型短期反而在加固 NVIDIA 的推理护城河 — zephyr_z9 · 2026-07-23
- AI 可移植性不在模型 ID，而在身份、trace 和回滚 — Early-Matter-8123 · 2026-07-23
- OpenShip 以开源部署和 MCP 挑战 AWS、Vercel — eyishazyer · 2026-07-23
- The Stack v3 发布：114TB、2240 万仓库并修复去重 bug — anton_lozhkov · 2026-07-23
- AI 竞赛已按 GW 计，欧洲仍停留在 MW 思维 — AymericRoucher · 2026-07-23
- COLMAP 主分支合并 DEGENSAC，平面场景重建更强 — ducha_aiki · 2026-07-23