研究称反馈Transformer应读中间层而非末层
latent feedback 是当前前沿实验室探索的方向,主流做法是把模型最后一层隐状态融合进下一个 token 的 embedding。港大 MMLab 与 Yale 的 Xuyuan Xiong 等人对 Feedback Transformer 的反馈来源做了深度扫描,发现读取最后一层的 FBT 与 Recycler 并非最优,改读倒数第二层效果更好;另有研究显示,在同等算力下读取更深层中间层能取得更低损失,挑战了主流末层做法。
2026-11-18 ~ 2026-11-18 · 2 条相关
- 研究者挑战 latent feedback 主流做法:读深层中间层而非末层,同算力更低损失 — kastnerkyle · 2026-11-18
- 港大研究:反馈 Transformer 别读最后一层,倒数第二层效果更好 — JohnCLangford · 2026-11-18