港大研究:反馈 Transformer 别读最后一层,倒数第二层效果更好

JohnCLangford · x · 2026-11-18

港大 MMLab 与 Yale 的 Xuyuan Xiong 等人对 Feedback Transformer 的反馈来源做了深度扫描。FBT 与 Recycler 读取最后一个 block 的隐状态,他们系统实验发现读取顶部稍下的中间 block 效果更好:8 层模型用第 7 层、10 层模型用第 8 层,相对末层可将 held-out loss 分别降低 4.4 与 4.1 ×10⁻³ nats。 - 反馈机制:将前一 token 某层隐状态经投影后加到当前 token embedding 上(x₀ = et + W·RMSNorm(h)),W 零初始化使启用初期模型不变。 - 换反馈来源不增加参数与 FLOPs,只是选不同 block 的状态;顺序解码时每个 token 仅多一次矩阵乘。 - 在 8 层模型上,同样读末层时,加性方案优于 FBT 的门控替换。 - John Langford 补充:FBT 通过反馈倒数第二层而非最后一层、以及 Recycler 的融合方式得到改进。

所属事件:研究称反馈Transformer应读中间层而非末层(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →