IBM/康奈尔 LPT:跨循环共享 KV 缓存,内存省 79% 困惑度反降
burny_tech · x · 2026-10-30
IBM Research 与康奈尔团队的论文提出 Looped Prediction Transformer(LPT):只让第一次循环写 KV 缓存,后续循环复用它并只保留一小段自己的局部窗口。
- 反直觉结论:共享记忆不损质量,反而提升质量;共享与局部记忆学到不同表示,后续循环主要关注共享缓存,它还充当通往第一次循环的「梯度高速通道」
- 在 150M-1B 参数规模上,LPT 混合变体在 FineWeb-Edu 上验证困惑度比同尺寸标准 Transformer 降低 1.12-1.82,上下文内存减少 76-79%
- 1B 规模下,混合变体较五循环标准 Transformer 困惑度低约 10%
该工作为循环模型(用重复层换参数量)建立了新的质量-内存前沿。
「Infra」频道最新
- AWS 给出 2027/2028 年营收增速 40%+ 指引，瞄准万亿美元业务 — mitchdeg · 2026-10-30
- 2028 年「数据中心里的天才国度」将只受数据中心数量限制 — timshi_ai · 2026-10-30
- 797GB n-gram 查表跑在 CPU 内存,1B 模型多榨 57% 算力 — PangWeiKoh · 2026-10-30
- 网友晒数据中心闲置 GPU 库存,调侃「找到我们的显卡了」 — Beneficial-Ad-8127 · 2026-10-30
- 英特尔股价暴跌 20%：AI 繁荣推高内存价格，反噬 PC 芯片业务 — pstAsiatech · 2026-10-30
- Wafer 日处理 token 达 2 万亿，从 1 万亿翻倍仅用 4 天 — ycombinator · 2026-10-30