savvyRL:循环 Transformer 并不神奇,只是等价于加深网络
savvyRL · x · 2026-09-03
研究者 savvyRL 对近期流行的 Looped Transformers 提出反驳:它并非什么魔法,也没有给本就是前馈的网络增加真正的递归——同样的做法早在 Dehghani 等人 2019 年的论文中就出现过。其效果本质只是把模型做得更深,与一开始就堆更多层没有区别。这条观点针对的是圈子里对 loop 架构的过度神化。
所属事件:研究者驳循环 Transformer：只是绑参加深，并无真正递归(3 条相关)→
「研究」频道最新
- CBAI 秋季 AI 安全研究奖学金开放申请：10 周补贴 1.5 万美元 — benno_krojer · 2026-09-03
- 1200 万条实证研究结果能告诉我们什么? — RexDouglass · 2026-09-03
- GamowLabs 将推 RareBench:挑战社区分辨合成基因组与真实样本 — danielmckinn0n · 2026-09-03
- NEJM：单剂体内 B 细胞清除使 16 名难治自免患者全部改善 — EricTopol · 2026-09-03
- 多教师在线蒸馏 MOPD 崛起,已用于 Kimi K3 等前沿模型 — cwolferesearch · 2026-09-03
- 蛋白质折叠模型早就在用 recycling:本质是循环深度加 stop grad — amyxlu · 2026-09-03