清华团队提出Agent缓存工程:成本降27.7%,P95延迟提速1.5倍
kalyan_kpl · x · 2026-10-22
清华与港中文团队发布论文《Cache Engineering for Agents》,针对 LLM agent 长轨迹中 KV cache 成为主要成本的问题提出新方案:
- 现有 context engineering 通过裁剪/摘要历史来缩小缓存,但会修改轨迹前缀、使后续缓存失效并触发昂贵的重预填充,保留上下文太少还会伤任务准确率;
- cache engineering 让 agent 直接控制活跃 KV cache:主动丢弃选中内容为未来注意力腾位、重排 key 位置编码,全程不改轨迹、不重预填;
- 论文形式化了缓存操作序列,指出相同 token 序列在不同操作下缓存前缀不同,使 prefix matching 失效,因此联合设计了 AKV serving 引擎,提供与现有 serving API 兼容的无状态接口,内部管理有状态的缓存复用、驱逐与恢复;
- 实验结果:tool-response rolling-drop 策略使平均 benchmark 提升 1.7 分、平均成本降 27.7%;AKV 实现输出吞吐最高 1.2 倍、P95 请求延迟 1.5 倍加速;缓存策略的递归自我改进再省 7.1% 成本。
代码已开源:github.com/thu-nics/AKV。
所属事件:清华等提出智能体缓存工程,KV缓存成本降近三成(4 条相关)→
「编程与Agent」频道最新
- 把 Claude Code 会话变成视频通话：开源应用 Agent Standup — stickygoose · 2026-10-22
- KOL 曝某加密项目系骗局，建议用 Claude Code 会话做尽调 — econoar · 2026-10-22
- Claude Code 可视化教程仓库爆火,斩获 4.2 万星 — luongnv89 · 2026-10-22
- 开发者用 Codex 搭出浏览器 3D 虚拟世界,台球桌 15 分钟生成 — remorej · 2026-10-22
- 单张 AMD 显卡本地做出 3 分半音乐视频：Krea 2 LoRA + Wan 2.2 + 代码绘图全流程开源 — wilppuse · 2026-10-22
- Claude Code 高手工作流:7 个技巧与 4 个避坑点 — PawelHuryn · 2026-10-22