研究者质疑「recurrent depth」:不过是权重绑定而非任意深度循环
snwy_me · x · 2026-09-03
@llllvvuu 质疑近期被热议的「recurrent depth」技术:它看起来本质上是权重绑定(weight tying),即不同层复用同一组权重,而不是真正意义上可任意扩展深度的循环机制。作者认为把它当作重大突破来宣传有点小题大做。
所属事件:循环Transformer之争：加深网络还是可变深度创新(8 条相关)→
「研究」频道最新
- 受可解释性论文启发，无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18
- 训练策略复盘:只训最后几层避免移动目标,数据越多泛化越好 — Sauers_ · 2026-10-18
- 训练后模型能感知激活探针存在,并跨 GPU 零样本泛化 — Sauers_ · 2026-10-18
- 模型可学会分辨训练与部署状态,并泛化到没见过的运行时 — Sauers_ · 2026-10-18
- 单个注意力头像开关:靠抵消放大探针的微小激活差异 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18