Cornell/IBM 新方法让循环 Transformer 跨递归共享 KV 缓存,省 76-79% 内存

WeijiaShi2 · x · 2026-10-24

Yoav Artzi 团队展示论文《The Surprising Effectiveness of Shared Memory in Looped Transformers》:传闻前沿实验室正用循环语言模型在不增参数的情况下提升质量,但每次递归都会写自己的 KV 缓存,内存仍随计算增长。他们的 BeNice 方法预训练模型只在第一次递归写缓存,后续递归以短窗口共享该缓存——结果共享内存不仅几乎无损,反而改善质量。在 150M-1B 参数规模上,LPT 及其混合变体刷新了循环模型的质量-内存前沿:5 次递归下,混合版在 FineWeb-Edu 上相对同尺寸标准 Transformer 降低 1.12-1.82 相对验证困惑度,同时上下文内存省 76-79%。分析发现共享与局部内存发展出不同表示,后续递归主要关注共享内存,它还充当通往第一次递归的梯度高速通道。