清华与 CUHK 提出 Cache Engineering:agent 降本 27.7% 还提分 1.7
TheTuringPost · x · 2026-10-28
TheTuringPost 介绍清华大学与 CUHK 的研究:与其做 context engineering(裁剪/摘要旧消息反而触发 KV cache 重算、更费算力),不如做 cache engineering——保留文本历史不动,只编辑缓存的可用性。除常规 append 外引入两种操作:
- drop:将选定 KV 条目从后续注意力中移除
- repos:调整保留键的位置编码
为此构建了 AKV 服务引擎,负责缓存复用、驱逐与恢复,含三项机制:无状态 API(agent 只提交消息和缓存指令)、扩展基数树(跟踪缓存状态与操作历史)、segment-batch attention(单次 prefill 重建缺失缓存状态)。
实验中,仅用「逐渐丢弃较旧工具响应」的简单策略:平均成本降 27.7%、基准分提升 1.7、吞吐 1.18×、P95 延迟加速 1.51×;让 agent 自己优化缓存策略再省 7.1%。局限是需要专用 serving 基础设施。
所属事件:清华与港中文提出 Cache Engineering，Agent 降本还提效(2 条相关)→
「Infra」频道最新
- 云厂商别忘本：企业上云主力仍是计算存储网络等基础服务 — DavidLinthicum · 2026-10-28
- 沙特 HUMAIN 披露 AI 基础设施筹建：选址与电力评估先行 — HUMAIN · 2026-10-28
- llama.cpp 新 PR 融合 MoE 矩阵乘与 GLU,Qwen3 系列 CUDA 吞吐最高提 17% — jacek2023 · 2026-10-28
- 5分钟可视化拆解LLM API调用全链路：从网关到GPU — HowDevelop · 2026-10-28
- 高通 GenieX 让任意 GGUF 模型跑上骁龙 Hexagon NPU，附实测数据 — SkyFeistyLlama8 · 2026-10-28
- 缓存命中价仅 2%：一文讲透 Agent 循环里的 Prefix Caching 省钱术 — Arindam_1729 · 2026-10-28