Looped Transformer 关键在迭代深度可变,固定展开只是加深网络
kfountou · x · 2026-09-03
作者回应「Looped Transformers 没什么神奇、只是把前馈网络加深」的说法,指出核心区别在于迭代次数可随输入变化:
- 固定次数的权重共享展开只是构建更深的网络,计算深度固定;而真正的循环可以让步数依赖输入,使固定参数量的模型实现运行时间随输入增长的迭代算法。
- 跨迭代传递的隐藏状态还可充当工作记忆,作用不止于「增加固定层数」。
- 承认这一思想早有出处(如 Dehghani et al., 2019),并非全新概念,但对「循环到底加了什么」的辨析很有价值。
所属事件:循环Transformer之争：加深网络还是可变深度创新(8 条相关)→
「研究」频道最新
- Reddit 用户倡议建开源视频剪辑数据集,破解 LoRA 易崩问题 — Emergency-Shake4529 · 2026-10-18
- 新基准瞄准商业 Deep Research:联网检索+内部工具调用缺评测 — burkov · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 百年难题告破:5 页证明「无 Siegel 零点」,新证明正涌来 — Singularitarian · 2026-10-18
- 用 Opus 数小时设计出约 3.1 万美元开源低场 MRI 头部扫描仪 — DreamFly_13 · 2026-10-18
- 博士在自家棚屋建 Class 100 洁净室，开源家庭造芯片全流程指南 — jwt0625 · 2026-10-18