清华等提出缓存工程替代上下文工程,Agent 推理成本降 27.7%
机器之心 · wechat · 2026-11-17
清华与港中文团队提出「缓存工程」(Cache Engineering)并开源推理系统 AKV:Agent 长程任务中不再压缩历史文本,而是直接管理 KV 缓存,同时降本提速并提高成功率。
- 问题:上下文工程(裁剪/总结)会改文本前缀,导致 KV 缓存失效、re-prefill 重算。论文发现 BrowseComp-Plus 上只保留最近 12 轮工具结果,总成本反而达完整上下文的 1.85 倍
- 方法:保留全部历史文本,提供 Append / Drop / Repos 三种缓存操作,复用已算好的状态;基于 SGLang 构建 AKV 系统,用扩展 radix tree 处理缓存状态匹配
- 结果:3 个模型、4 个 Agent benchmark 评测中,相比 Standard 平均推理成本降 27.7%、成功率提升 1.7 个百分点;GPT-OSS-120B 吞吐量达 1.18 倍,P95 延迟缩短约三分之一
- RSI 实验:让 Agent 自主搜索迭代缓存策略,比人工设计再降 7.1% 成本
「编程与Agent」频道最新
- 用 AI 造个短链服务,连环追问系统设计每一层短板 — cneuralnetwork · 2026-11-17
- Clare Liguori 将主持 AWS reInvent 开发者主题演讲,11 月 30 日开播 — FlolightC · 2026-11-17
- VS Code 宣布 2027 年 2 月移除旧 Local agent harness,由 Copilot harness 接替 — Formal-Grass-3173 · 2026-11-17
- 开发机构分享 Claude Code harness 评测方案:冻结规格+盲测+holdout 测试 — DevFizzah · 2026-11-17
- 开发者推出 Courio:让 AI agent 通过 MCP 给全球地址寄真实信件 — benoittallandier · 2026-11-17
- Claude 逆向视频风格 skill 走红,新竞品提速 20 倍、SSIM 0.96 — toolstelegraph · 2026-11-17