ReCache 复用工具 Schema 的 KV 缓存,省 92% 显存

arXiv 论文(编号 2608.19662,Yichu Fang 等)提出 ReCache,一种面向工具增强型 LLM Agent 的 KV 缓存复用与压缩方法。针对 Agent 场景中工具/技能 schema 组合与顺序多变、标准前缀缓存难以复用的问题,它为每个 schema 构建可独立复用的 KV 状态并分配资源局部位置。实验显示显存开销可节省 92%,首 token 生成提速 3.7 倍。

2026-09-08 ~ 2026-09-08 · 2 条相关