清华提出 Cache Engineering：Agent 免改轨迹直接操控 KV 缓存
nics-efc · hf · 2026-10-22
清华与港中文团队提出 cache engineering，一种新的 LLM agent 缓存管理方案。现有 context engineering 通过裁剪或总结历史来减小缓存，但修改轨迹前缀会使后续缓存状态失效，触发昂贵的重新 prefill，且保留上下文过少会损害任务准确率。
该方法让 agent 直接控制活跃 KV 缓存而不改动轨迹、不重新 prefill：
- drop 操作：将选中缓存排除出未来注意力计算
- repos 操作：调整保留键的位置编码
团队还形式化了这些缓存操作并识别「历史依赖」：相同的 token 序列在不同缓存操作序列下会产生不同的缓存状态，因此前缀匹配不足以做缓存复用。论文配套设计了一个服务引擎来高效执行 KV 操作。
所属事件:清华等提出智能体缓存工程,KV缓存成本降近三成(4 条相关)→
「Infra」频道最新
- capy-flash v0.7:125B MoE 塞进 64GB 内存,双卡跑出 234 tok/s — FeydRowan · 2026-10-22
- Kapitsa 引擎实测：2021 款 M1 Pro 16GB 跑 Qwen3.5 4B 达 97 tok/s — DotaMate · 2026-10-22
- Pichai：五年内 Google Cloud 或将规模化销售量子部署服务 — rohanpaul_ai · 2026-10-22
- Pichai:5 年内 Google Cloud 将规模化谈判量子计算部署合同 — rohanpaul_ai · 2026-10-22
- 为什么硬件专用化卷土重来:推理架构走向异构解耦 — ai · 2026-10-22
- 台积电调研供应商：评估工厂自动化设备改用无稀土电机 — pstAsiatech · 2026-10-22