循环Transformer之争：加深网络还是可变深度创新
围绕近期热议的 Looped Transformer / recurrent depth 技术，研究者 savvyRL 连续发文泼冷水：无论循环多少次，Transformer 本质仍是前馈网络，所谓「循环」只是参数绑定下的深度复用，效果等价于把模型加深，谈不上新突破，类似做法在 Dehghani 等人 2019 年的论文中就已出现。
已确认
- savvyRL 的核心论点：固定次数的权重共享展开等价于构建更深的网络，真正的时间维度递归必须携带跨时刻的状态；他引用自己的论文《The Topological Troubles...》作为支撑
- Google 研究员 Denny Zhou 提出另一视角：对推理起根本作用的是模型深度，loop 只是增加有效深度的低成本方式，该观点来自他去年在斯坦福 CS 课程上的讲座
- kfountou 回应承认固定展开确实只是加深网络，但指出关键区别在于迭代次数可随输入变化，使固定参数获得可变计算深度
- hayousoufiane 指出 Looped Transformer 的概念让他联想到 Deep Equilibrium Models 一脉的均衡模型文献，如 Bai 等人的论文（arXiv:1909.01377），说明这一思路并非全新
- @llllvvuu 独立质疑 recurrent depth 本质是权重绑定（weight tying）而非可任意扩展深度的循环，认为当作重大突破宣传有小题大做之嫌
- bobthemaster（经 PlisSergey 转述）认为，比起争论循环深度本身，真正的杠杆在于动态测试时计算与内部精炼，并举出 MIND over Body（ICLR Oral）等三个例子：仅 3 层就能在 ImageNet 上取得有竞争力的结果，说明自内省的动态计算比架构层面的循环更值得关注
为什么重要
- 争论焦点是「可变计算深度」是否构成真正的架构创新：savvyRL 一方认为这只是加深网络的变体，支持方则强调输入自适应的迭代步数才是价值所在；Denny Zhou 的「深度为本、循环为用」观点为双方提供了共同前提——深度确实关键，分歧只在循环是否提供了获取深度的新机制
- Deep Equilibrium Models 等先例的提出进一步削弱了该技术的原创性叙事
- bobthemaster 将话题引向测试时动态计算这条更具实证支撑的路径，提示评估此类工作的标准应是推理效率与自适应计算能力，而非架构标签
- 这场讨论直接关系到 Looped Transformer 相关研究能否被视为通向更高效推理或类推理机制的重要路径，还是应回归为一种参数高效的网络加深技巧
2026-09-03 ~ 2026-09-03 · 8 条相关
一手来源
- savvyRL:循环 Transformer 并不神奇,只是等价于加深网络 — savvyRL ·
- Denny Zhou:推理的关键是模型深度,循环只是加深的廉价手段 — denny_zhou ·
- Looped Transformer 关键在迭代深度可变,固定展开只是加深网络 — kfountou ·
- 【源头】savvyRL:循环 Transformer 并不神奇,只是等价于加深网络 — savvyRL · 2026-09-03
- 研究者泼冷水:Looped Transformer 并无真正的循环,只是参数绑定的加深网络 — savvyRL · 2026-09-03
- 研究者驳「循环 Transformer」:所谓递归只是绑参加深 — savvyRL · 2026-09-03
- 研究者质疑「recurrent depth」:不过是权重绑定而非任意深度循环 — snwy_me · 2026-09-03
- 【源头】Looped Transformer 关键在迭代深度可变,固定展开只是加深网络 — kfountou · 2026-09-03
- Looped Transformers 让人重提 Deep Equilibrium Models 老论文 — burny_tech · 2026-09-03
- 回应循环 Transformer 之争:测试时动态计算与内省才是关键杠杆 — PlisSergey · 2026-09-03
- 【源头】Denny Zhou:推理的关键是模型深度,循环只是加深的廉价手段 — denny_zhou · 2026-09-03