ReCache:复用工具 schema 的 KV 缓存,省 92% 显存
techNmak · x · 2026-09-08
ReCache 是针对工具增强型 LLM Agent 的 KV 缓存复用与压缩方法:为每个工具/技能 schema 构建可独立复用的 KV 状态并分配资源局部位置,使其不再随 prompt 组合变化而重复编码。再通过资源间注意力裁剪、结构化路由(只暴露给选定的层/KV 头组)和语义剪枝(仅保留资源名、参数名等调用关键字段)进一步压缩成本。详见同作者附 arXiv 链接的帖子。
所属事件:ReCache 复用工具 Schema 的 KV 缓存,省 92% 显存(2 条相关)→
「编程与Agent」频道最新
- 让 Claude 全自动运营 SaaS:一周 583 个 PR,还自审出自支付漏洞 — mhmazur · 2026-09-08
- 开源企业数据上下文层 PipesHub:权限保留、引文回溯、可插拔全栈 — Effective-Ad2060 · 2026-09-08
- 南洋理工等发布 VibeGame:8 个专家 agent 团队一句话生成可玩完整游戏项目 — jiqizhixin · 2026-09-08
- Stageflow发布:分阶段隔离上下文的多阶段Agent流水线框架 — tejasghutukade · 2026-09-08
- 10个Agent明天就上岗,你知道该委派什么吗?Agent管理的真问题 — Druss_ · 2026-09-08
- 独立开发者的远程 MCP 服务器实践:26% 托管服务器被误判已死 — Luca9307 · 2026-09-08