Pi 公开缓存行为，社区争论 agent harness 是否在烧 KV cache
mitsuhiko · x · 2026-07-23
Mitsuhiko 说，Pi 最近把自己的 cache 行为展示得更清楚了；之所以这么做，是因为社区一直在争论：各种 agent harness 到底是在帮忙，还是在悄悄把缓存烧光。
这条帖子的核心是顺手引出一篇对 KV cache 的解释：
- KV cache 在推理里到底怎么工作
- 为什么缓存可见性对 LLM serving 很重要
- Pi 在缓存效率上到底帮了什么、又没帮什么
它本质上是一条偏 推理基础设施 的技术说明，而不是模型发布。
所属事件:社区热议 Agent 框架是否在悄悄破坏 KV Cache(2 条相关)→
「Infra」频道最新
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26