Meta 与 MIT 论文:循环复用 Transformer 层可胜过加深参数
rohanpaul_ai · x · 2026-11-02
Meta 与 MIT 的新论文《How to Loop Your Transformer》系统研究了「循环复用层」(looping)——把同一组层反复执行多次,在不增加参数的前提下加深模型。
实验规模:从零训练最高 1B 参数的稠密模型,最多 155B tokens、1.07×10²¹ FLOPs、最多 32 次循环。
核心结论:
- 固定参数预算下,循环整个 transformer 层栈质量最好;
- 训练算力受限时,循环中间某段层收益更高;
- 循环次数并非越多越好,增益会饱和、反转甚至不稳定;
- 为每个循环加小型低秩 adapter(仅增加 1.1–4.3% 参数,而加深一倍参数需 +51.4%),循环越多收益越明显。
另外论文修复了 Parallel Loop Transformers 的并行解码方法:保留当前 token embedding 并对其与前一 token 隐状态分别归一化后再合并,可在解码时并行执行各循环,消除随循环数线性增加的解码延迟。
所属事件:Meta与MIT论文：循环复用Transformer层胜过加深参数(2 条相关)→
「研究」频道最新
- Aaron Roth:Aumann 协议定理无需共同先验依然成立 — Aaroth · 2026-11-02
- 经济学家 Aaroth:放宽先验假设后,共识仍可快速达成 — Aaroth · 2026-11-02
- 新论文：把 Aumann 共识定理做成无需贝叶斯假设的可计算协议 — Aaroth · 2026-11-02
- ELLIS 公布 2025-26 新晋 160 位 Fellow 与 Scholar,含多位开源基模研究者 — JJitsev · 2026-11-02
- 转发梗图：Aumann「同意不一致」论文迎来 50 周年 — Aaroth · 2026-11-02
- Anthropic 实验：分析师 86% 采纳 AI agent 的暗中倾向 — shoumikgoswami · 2026-11-02