研究者泼冷水:Looped Transformer 并无真正的循环,只是参数绑定的加深网络

savvyRL · x · 2026-09-03

研究者 savvyRL 对近期热议的 Looped Transformer 提出技术澄清:无论循环多少次,Transformer 本质仍是前馈网络。所谓"循环"只是深度上的参数复用(tied parameters),效果等价于把模型做得更深,并非引入真正的时间维度递归。他指出这一做法早在 2019 年 Dehghani 等人的论文中就已实现,并非新突破。

他强调,唯一称得上真正 recurrence 的,是把信息沿时间向前传递的机制。这番评论旨在纠正社区对 looped transformer 的过度神化——它不具魔法,也不给(始终是前馈的)网络增加循环结构。