ReCache:复用工具 schema 的 KV 缓存,省 92% 显存

techNmak · x · 2026-09-08

ReCache 是针对工具增强型 LLM Agent 的 KV 缓存复用与压缩方法:为每个工具/技能 schema 构建可独立复用的 KV 状态并分配资源局部位置,使其不再随 prompt 组合变化而重复编码。再通过资源间注意力裁剪、结构化路由(只暴露给选定的层/KV 头组)和语义剪枝(仅保留资源名、参数名等调用关键字段)进一步压缩成本。详见同作者附 arXiv 链接的帖子。

所属事件:ReCache 复用工具 Schema 的 KV 缓存,省 92% 显存(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →