删 98.4% KV cache 反而更准：Looped Transformer 共享记忆新论文
yoavartzi · x · 2026-10-28
Cornell 与 IBM Research 的论文《The Surprising Effectiveness of Shared Memory in Looped Transformers》发现：Looped Transformer 递归各轮各自写 KV cache 是一种浪费，只需让第一轮递归写缓存、后续递归共享读取即可。
在 1B 参数模型上，删除第 25 轮递归中 98.4% 的 KV cache 不仅不掉点，反而把 FineWeb-Edu perplexity 从 11.39 降到 10.32，5 项任务平均准确率从 63.4% 升到 68.2%，KV 内存占用减少 4.7 倍。其 LPT（Looped Prediction Transformer）在 1.5B 参数下达到 looped 模型新的质量-内存帕累托前沿，相比同尺寸标准 Transformer 降低 1.121.82 perplexity，同时省 7679% 上下文内存；混合版本 H-LPT 还能对标 gated DeltaNet。
作者的分析指出：共享与局部记忆发展出不同表征，后续递归主要关注共享记忆，它同时充当通往第一轮递归的梯度高速通道，这解释了共享记忆为何零成本还增益。
「Infra」频道最新
- MySQL 递归 CTE 在 5 亿行下超时，图数据库 23.6ms 完成同查询 — JeremyCMorgan · 2026-10-28
- OpenRouter 周token量一年涨27倍至165万亿，开放模型占72% — FinanceYF5 · 2026-10-28
- AI 行业豪赌:多年锁定算力采购,按 token 卖智能,风险谁来扛 — vaibhavbetter · 2026-10-28
- OpenAI 员工放言：算力决定国运，美国已锁定胜局 — willdepue · 2026-10-28
- 马来西亚数据中心总容量与设施数均已超新加坡,规划容量约 10 倍 — bytebot · 2026-10-28
- 开发者长文:Cloudflare 是最适合 AI Agent 时代的应用平台 — ritakozlov · 2026-10-28