清华等提出 Cache Engineering：改缓存不改历史，破解 Agent 长轨迹成本
TheTuringPost · x · 2026-10-28
清华大学与 CUHK 研究者发布论文《Cache Engineering for Agents》，提出比「context engineering」更进一步的 KV 缓存管理方案。
问题
- LLM agent 长轨迹中，KV cache 的 I/O 与存储成为主导成本；轨迹还可能超出模型最大上下文。
- 现有做法（裁剪/摘要历史）会修改轨迹前缀，导致后续缓存状态失效，触发昂贵的 re-prefilling；保留上下文太少还会损害任务准确率。
方案
- 让 agent 在不修改轨迹、不重算前缀的前提下直接控制活跃 KV cache：drop 操作将选定缓存排除出后续注意力，repos 调整保留键的位置编码。
- 形式化了这些缓存操作，并指出「历史依赖」是服务端难题：相同 token 序列在不同缓存操作序列下会得到不同缓存状态，前缀匹配不再足以正确复用缓存。
系统与结果
- 与之协同设计的 AKV serving 引擎提供兼容现有 serving API 的无状态接口，内部管理有状态的缓存复用、驱逐与恢复。
- 工具响应滚动丢弃（rolling-drop）的缓存策略在平均基准上带来改进。
论文：arXiv 2610.28577，代码已开源。
所属事件:清华与港中文提出 Cache Engineering，Agent 降本还提效(2 条相关)→
「编程与Agent」频道最新
- Avalon-M1 用集体奖励 RL 训练 LLM 组建 Agent 组织,平均分 33.5%→45.7% — RobertTLange · 2026-10-28
- 沙特创作者用 GPT 的 MCP 串联 Halo 与 Runway 产出图文视频作品 — aziz4ai · 2026-10-28
- 用 opencode 驱动 Qwen 模型成功 Root LG 电视,清除间谍广告软件 — Switchboy1 · 2026-10-28
- Clawifi MCP 服务器让 agent 读网页省 75% token,基准跑赢 Firecrawl 和 Tavily — atakanelik34 · 2026-10-28
- 亚马逊 EMMA 论文：把多智能体配置当情景记忆，从失败中自我进化 — omarsar0 · 2026-10-28
- 5分钟可视化拆解LLM API调用全链路：从网关到GPU — HowDevelop · 2026-10-28