savvyRL:循环 Transformer 并不神奇,只是等价于加深网络
savvyRL · x · 2026-09-03
研究者 savvyRL 对近期流行的 Looped Transformers 提出反驳:它并非什么魔法,也没有给本就是前馈的网络增加真正的递归——同样的做法早在 Dehghani 等人 2019 年的论文中就出现过。其效果本质只是把模型做得更深,与一开始就堆更多层没有区别。这条观点针对的是圈子里对 loop 架构的过度神化。
所属事件:循环Transformer之争：加深网络还是可变深度创新(8 条相关)→
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18
- SGPnP 论文获 IEEE 接收：扩散模型直插 PnP 重建框架 — prof_kamilov · 2026-10-18