港大研究:反馈 Transformer 别读最后一层,倒数第二层效果更好
JohnCLangford · x · 2026-11-18
港大 MMLab 与 Yale 的 Xuyuan Xiong 等人对 Feedback Transformer 的反馈来源做了深度扫描。FBT 与 Recycler 读取最后一个 block 的隐状态,他们系统实验发现读取顶部稍下的中间 block 效果更好:8 层模型用第 7 层、10 层模型用第 8 层,相对末层可将 held-out loss 分别降低 4.4 与 4.1 ×10⁻³ nats。 - 反馈机制:将前一 token 某层隐状态经投影后加到当前 token embedding 上(x₀ = et + W·RMSNorm(h)),W 零初始化使启用初期模型不变。 - 换反馈来源不增加参数与 FLOPs,只是选不同 block 的状态;顺序解码时每个 token 仅多一次矩阵乘。 - 在 8 层模型上,同样读末层时,加性方案优于 FBT 的门控替换。 - John Langford 补充:FBT 通过反馈倒数第二层而非最后一层、以及 Recycler 的融合方式得到改进。
所属事件:研究称反馈Transformer应读中间层而非末层(2 条相关)→
「研究」频道最新
- 斯坦福 CS329Z 智能体课程两讲公开:设计模式与多智能体得失 — stanfordnlp · 2026-11-18
- Inkling 2 Small 用 16 倍更少的权重编辑达成同等修复效果 — mools04 · 2026-11-18
- SC26 设 BoF 讨论:编码智能体时代如何守住数值线性代数的可信度 — kfountou · 2026-11-18
- Yoav Goldberg:拒稿该看人参与多少,而非是否用了 LLM — yoavgo · 2026-11-18
- 独立开发者训练直接扫描原始二进制的模型,代码块理解达 0.977 — wavefnx · 2026-11-18
- 哈佛论文:编码 Agent 94.8% token 是重读缓存,能耗高 25 倍 — rohanpaul_ai · 2026-11-18