Meta 新论文：循环复用 Transformer 权重，不改参数量换更深网络
iScienceLuvr · x · 2026-10-31
Meta FAIR 发表新论文《How to Loop Your Transformer》，系统研究循环 Transformer 的扩展规律：通过重复应用同一 transformer（或其中一部分），在不增加参数的情况下加深模型。
- 实验规模：最大 1B 参数、155B tokens、1.07×10²¹ FLOPs、最多 32 个 loop
- 固定参数预算下：循环完整 transformer 质量最好；训练 FLOPs 受限时：循环中间层块收益更高
- 增加 loop 并非一贯有益：收益会饱和、反转甚至不稳定
- 引入各 loop 专属的低秩适配器（low-rank adapters）：loop 少时收益有限，复用次数越多越有用
- 循环导致解码速度与 loop 数成正比变慢；提出的 Parallel Looped Transformers（PLT）朴素实现会丢掉收益，需保留当前 token 表示、分别归一化并与循环状态受控合并才能恢复性能
所属事件:Meta FAIR 发文研究循环 Transformer 扩展规律(2 条相关)→
「研究」频道最新
- 4B 模型学 11.7 万条决策样本：各项媲美 Jev，唯独读不懂讽刺 — SRSchmidgall · 2026-10-31
- David Baker 团队新预印本：蛋白质设计可降低 CD8⁺ T 细胞免疫原性 — gottapatchemall · 2026-10-31
- 公司按篇付费 $300 收购 ICLR/NeurIPS 一作问卷，研究生薅羊毛贴 — Icy-Park4287 · 2026-10-31
- Gary Marcus 讽刺 OpenAI 新算法:变量阈值 10^25,实跑仍是指数时间 — AlexTensor · 2026-10-31
- NVIDIA BindClaw 引发观察：AI4Bio 新方法必须接入 Agent 流水线才算完整 — rishabh16_ · 2026-10-31
- Kyutai 等复现 Neural Thickets：收益无需权重扰动，冻结模型加 logit 偏置即可 — kastnerkyle · 2026-10-31