研究者泼冷水:循环 Transformer 并无真正递归只是绑参加深

9月3日,研究者 savvyRL 等人对近期热门的 Looped Transformers 与「recurrent depth」提出反驳,指出其并非魔法:无论循环多少次,Transformer 本质仍是前馈网络,所谓「循环」只是参数绑定下的深度递归,等价于把网络加深,类似思路在 Dehghani 时期早已出现。@llllvvuu 也质疑 recurrent depth 实为权重绑定而非可任意扩展的深度循环,真正的时间维度递归必须携带跨时刻的状态。

2026-09-03 ~ 2026-09-03 · 4 条相关

• savvyRL:循环 Transformer 并不神奇,只是等价于加深网络 — savvyRL · 2026-09-03
• 研究者泼冷水:Looped Transformer 并无真正的循环,只是参数绑定的加深网络 — savvyRL · 2026-09-03
• 研究者驳「循环 Transformer」:所谓递归只是绑参加深 — savvyRL · 2026-09-03
• 研究者质疑「recurrent depth」:不过是权重绑定而非任意深度循环 — snwy_me · 2026-09-03