AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升
_akhaliq · x · 2026-10-23
Hugging Papers 转介的新服务系统 AKV(Agent KV) 提出「缓存工程」思路:让 LLM Agent 直接管理自己的 KV cache——可以丢弃不再使用的历史、在不重写或不重新 prefill 的情况下重排保留的 key。
- 核心收益:平均成本降低 27.7%
- 意外之喜:任务准确率反而提升 1.7 个百分点
这与传统「只读追加」的 KV cache 假设相反,暗示为 Agent 场景定制的 serving 层还有很大优化空间。
所属事件:清华团队提出缓存工程：Agent 自管 KV 缓存，成本降 27.7%(5 条相关)→
「Infra」频道最新
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23
- 云锁定新形态：AWS、谷歌自研 AI 芯片带来性能也带来迁移难题 — DavidLinthicum · 2026-10-23
- Linux 内核用 AI 辅助检测 AMD Zen CPU 微架构 — Fcking_Chuck · 2026-10-23
- 换根供电线让 RTX Pro 6000 出图慢 20%–100%，12V-2x6 遭吐槽 — elittle1234 · 2026-10-23