研究者驳「循环 Transformer」:所谓递归只是绑参加深
savvyRL · x · 2026-09-03
savvyRL 重申其观点:无论加多少循环,Transformer 本质仍是前馈结构,这类「循环」只是参数绑定的深度递归,等价于把模型加深;真正的时间维度递归必须携带跨时刻的状态。作者引用其论文《The Topological Trouble With Transformers》(arxiv:2604.17121)与《Recirculation》(arxiv:2608.17981)作为论证依据。
所属事件:Looped Transformer 之争：真循环还是绑参加深(5 条相关)→
「研究」频道最新
- 斯坦福学者质疑热门基准：数据策划与质控过程不透明 — anshulkundaje · 2026-09-03
- 基因组学专家：热门基准缺陷多，应公开标注适用边界 — anshulkundaje · 2026-09-03
- 博客:未训练的网络已能分辨猫狗,架构或经演化筛选 — joannejang · 2026-09-03
- 斯坦福教授 Anshul Kundaje：多数公开 benchmark 存在系统性偏差 — anshulkundaje · 2026-09-03
- 计算机教授用 AI 抢救濒危语言,同时创造新语言 — begusgasper · 2026-09-03
- Cosmos 公布 80 个 AI 资助项目,聚焦人类自主与求真 — hunarbatra · 2026-09-03