Meta 循环 Transformer 论文细节：32 个 loop、饱和反转点与并行推理修复
iScienceLuvr · x · 2026-10-31
Meta FAIR 论文《How to Loop Your Transformer》（arXiv:2610.40325，作者含 Mike Lewis 等 9 人）的摘要全文曝光：通过复用权重反复应用同一 transformer，使模型更深而参数量不变。
- 收益取决于主导约束：参数量受限→循环全部层最佳；训练算力受限→循环中间块收益更高
- 加 loop 非线性有益：收益最终会饱和、反转或不稳定， motivating 每 loop 低秩适配器
- 循环使自回归解码慢 loop 倍；并行方案 PLT 朴素实现失效，需保留当前 token 表示并分别归一化后受控合并才能恢复收益
- 结论：有效循环需要让设计与资源约束和推理设置相匹配
所属事件:Meta FAIR 发文研究循环 Transformer 扩展规律(2 条相关)→
「研究」频道最新
- 用真实人脑细胞做 AI？生物计算进展引热议 — EmotionalGuess9229 · 2026-10-31
- LLM 评审员暗藏系统性偏差,自动化评估或已悄悄污染模型排名 — burkov · 2026-10-31
- 新论文量化「说不清的概念」：1270 个概念中 65 个永远无法用语言教会 LLM — sanmikoyejo · 2026-10-31
- 无监督测量LLM通信：用发射-接收重构评估信息传递 — sanmikoyejo · 2026-10-31
- 仅凭游戏画面流式输入,端侧小模型让无人机在 Acro 模式自主飞行 — yacineMTB · 2026-10-31
- Rust 版 MLIP 推理引擎 llmlip-rs：比 PyTorch MACE 快 17.7 倍 — CatAstro_Piyush · 2026-10-31