清华团队提出 Agent 缓存工程,KV 缓存成本降 27.7%
dair_ai · x · 2026-10-22
清华与港中文团队的论文《Cache Engineering for Agents》把思路从 agentic context engineering 推进到 agentic cache engineering：让 Agent 直接操作自己的 KV 缓存，而不改动轨迹文本。
核心内容：
- 问题：Agent 摘要/裁剪历史会改变前缀，使后续 KV 缓存失效，需重新 prefill；KV cache 读取占 API 成本高达 82.4%
- 方法：给 Agent 两个可编程缓存操作——把选定条目从未来注意力中移除、平移保留 key 的位置编码，并配套改造 KV serving 引擎实现无状态接口，兼容现有 API
- 结果：滚动丢弃旧工具响应的策略使基准成绩提升 1.7 分、平均成本降 27.7%（对比阈值触发摘要）；AKV 框架输出吞吐最高提升 1.2×、P95 延迟提速 1.5×
- 递归自我改进缓存策略再比专家设计降本 7.1%
代码开源：github.com/thu-nics/AKV
「编程与Agent」频道最新
- Claude Security 升级为持续扫描，公测期已发现超百万漏洞 — rohanpaul_ai · 2026-10-22
- YC F26 项目 Latent 发布：读模型内部状态，提前拦截幻觉答案 — ycombinator · 2026-10-22
- 持续学习缺个 L0.5：agent 状态四层模型引出权重与上下文之间的空白 — willcb · 2026-10-22
- DuckDB + Hugging Face 阿姆斯特丹工作坊:210 万条评论搭建 AI 反馈管道 — lhoestq · 2026-10-22
- Veracode 报告:AI 已写约半数代码,但安全通过率仅 56% — WeldPond · 2026-10-22
- Will Brown：只有 harness 级持续学习等于有硬盘没内存 — willcb · 2026-10-22