arXiv 原文:Meta/MIT 系统研究 Transformer 循环复用层的 scaling 规律
rohanpaul_ai · x · 2026-11-02
Meta FAIR 与 MIT 论文《How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference》(arXiv:2610.40325)完整摘要:循环复用通过重复执行同一组层让模型更深而不增参数,是否有用取决于主导约束是模型大小、训练算力还是自回归推理效率。
要点:
- 实验覆盖最高 1B 参数、155B tokens、1.07×10²¹ FLOPs、32 次循环的从零训练稠密模型;
- 固定参数预算下循环全栈质量最好;训练 FLOPs 受限时循环中间层块回报更佳;
- 循环数增加并非均匀有益,增益会饱和、反转或不稳定;
- 为每个循环加小型 low-rank adapter 可提升质量,循环越多收益越大;
- 循环带来与次数成正比的解码减速;修复后的 Parallel Loop Transformers 通过在相邻 token 位置经隐状态传递信息实现循环并行,原公式会丢失质量增益,而「保留当前 token embedding、分别归一化后合并」可恢复强性能。
结论:有效的循环设计必须匹配资源约束与推理场景。
所属事件:Meta与MIT论文：循环复用Transformer层胜过加深参数(2 条相关)→
「研究」频道最新
- David Blei 团队提出 WASABI：仅凭能量函数训练扩散模型采样玻尔兹曼分布 — skoularidou · 2026-11-02
- 11 行代码加一个基础 LLM 就能搭决策模型,工程师晒实现细节 — helloiamleonie · 2026-11-02
- 学者宣布退出 JMLR:AI 审稿已胜过赶时间的人类,期刊需推倒重来 — roydanroy · 2026-11-02
- 基于最优传输的概率编程语言 flowl：用粒子云取代分布抽象 — burny_tech · 2026-11-02
- 异步流映射语言模型：单次前向生成全部 token 的新范式 — kalyan_kpl · 2026-11-02
- NVIDIA Kumo 家族拆解：四款表格基础模型各管一类结构化数据 — pandeyparul · 2026-11-02