研究称反馈Transformer应读中间层而非末层

latent feedback 是当前前沿实验室探索的方向,主流做法是把模型最后一层隐状态融合进下一个 token 的 embedding。港大 MMLab 与 Yale 的 Xuyuan Xiong 等人对 Feedback Transformer 的反馈来源做了深度扫描,发现读取最后一层的 FBT 与 Recycler 并非最优,改读倒数第二层效果更好;另有研究显示,在同等算力下读取更深层中间层能取得更低损失,挑战了主流末层做法。

2026-11-18 ~ 2026-11-18 · 2 条相关