Agentic Cache Engineering：让智能体自管 KV Cache，再省 7.1% 成本
mrdrozdov · x · 2026-10-22
dairai 推介了一篇聚焦长运行智能体 KV cache 管理的论文，Rulin Shao 转发并提出改进思路。
核心问题：智能体总结或修剪历史时，前缀变化会使后续 KV cache 全部失效，保留的上下文必须重新 prefill，代价高昂。
Cache Engineering 方案：给智能体两个操作自身 KV cache 的原语——一是把条目从未来注意力中移除，二是平移剩余 key 的位置；轨迹文本本身不变，从而在上下文编辑后保住缓存。
结果：论文还用递归自我改进优化 cache 策略，比专家手工设计再降 7.1% 成本。
延伸讨论：Shao 建议让 LLM 请求增加参数，允许 agent 在上下文编辑引入冲突信息时主动告知 serving 系统何时重新 prefill 后缀缓存，认为 cache 空间的上下文管理是很有前景的优化方向。
所属事件:清华等提出智能体缓存工程,KV缓存成本降近三成(4 条相关)→
「编程与Agent」频道最新
- Axios：AI Agent 正用用户自己的账密登录美国银行账户，银行难辨真假 — rohanpaul_ai · 2026-10-22
- Teknium 让 Agent 20 分钟做出「冷门 Web 库」演示站：85 个库全部在线可玩 — Teknium · 2026-10-22
- AI 找漏洞尚无法「一键全扫」：专家经验仍是决定性变量 — moyix · 2026-10-22
- 「看管 agent 比看管人舒服」：开发者的工作流新日常 — WhatTheLJW · 2026-10-22
- Teleport 13 名工程师用一个季度挖出两年量的高危漏洞，附 5 个 prompt — dr_cintas · 2026-10-22
- 用 Claude 把 epub 做成刷推特式阅读器:worth a try — burny_tech · 2026-10-22