康奈尔/IBM 新方法让循环 Transformer 共享 KV 缓存,省近八成内存

有传闻称前沿实验室正利用循环语言模型在不增加参数的情况下提升质量,但 KV 缓存会随每次循环不断增长。康奈尔大学 Yoav Artzi 团队与 IBM 合作发表论文《The Surprising Effectiveness of Shared Memory in Looped Transformers》,提出被称作 BeNice! 的方法,让循环 Transformer 跨递归无损共享 KV 缓存,可节省 76-79% 的内存,为循环 LLM 的实用化提供了新路径。

2026-10-24 ~ 2026-10-24 · 2 条相关

• BeNice！方法实现循环 LLM 跨循环无损共享 KV 缓存 — stochasticchasm · 2026-10-24
• Cornell/IBM 新方法让循环 Transformer 跨递归共享 KV 缓存,省 76-79% 内存 — WeijiaShi2 · 2026-10-24