LIMe 方法省 15% 训练算力：让注意力头复用更早层的表示

ChampionshipLimp1749 · reddit · 2026-10-29

T-Tech 团队在 EMNLP 2026 上提出 LIMe（Layer-Integrated Memory），用约 15% 更少的算力训练出与基线质量相当的模型。

问题：传统 Transformer 每层只依赖上一层的隐藏状态，所有上下文信息必须从中穿过，作者证明这会造成「表示坍缩」——token 彼此越来越相似、区分性特征消退，损害模型质量。

方法：

• 轻量级注意力机制扩展，复用每层已有的 key-value 缓冲
• 为每个注意力头和层引入可学习的路由权重，使注意力头不仅能读上一层，还能检索并组合更早层的表示
• 隐藏状态尺寸不变，纯复用已计算的信息；配图展示了 LIMe Router 对 K/V 缓冲的路由方案

结果：

• 约 10 亿参数模型上，LIMe 用少 15% 的算力达到与 LLaMA 基线相同的训练 loss
• 在语言建模和多步推理基准上超过同类方法，算术合成任务和更深的架构上提升最明显
• value 向量熵更高、token 可分性更好，说明确实缓解了表示坍缩；路由权重分析显示模型系统性地复用局部与长程特征

论文：arxiv.org/abs/2502.09245，官方实现已开源（github.com/corl-team/lime）。

原文链接 →

「研究」频道最新

• 研究者把 Transformer 层改造成完整符号 CPU — yshan2u · 2026-10-29
• 750K 参数 NanoDreamer:MacBook M5 上自训世界模型打 5 款游戏 — CatAstro_Piyush · 2026-10-29
• 为什么不能直接去掉 Transformer 的位置编码？答案是置换等变性 — cneuralnetwork · 2026-10-29
• MIT 研发可注射凝胶修复受损神经，早期实验恢复感觉与运动 — CurieuxExplorer · 2026-10-29
• OmniSpectra：跨仪器光谱基础模型，用连续坐标免重采样学习 — Md Khairul Islam · 2026-10-29
• 两个追踪 Lean 动态的实用站点：Papers With Lean 与 Lean Weekly — TZahavy · 2026-10-29

更多「研究」频道 AI 资讯 →