新论文提出全带宽 Transformer，引入潜在反馈机制

burny_tech · x · 2026-08-15

论文提出“全带宽 Transformer”，旨在解决自回归 Transformer 在垂直反馈通道上的瓶颈。传统架构在解码步骤间仅回传采样 token，丢弃了顶层隐藏状态。新方法通过“潜在反馈”将上一层隐藏状态与采样 token 融合后反馈回输入端，使非显式计算能重新进入堆栈。训练采用计划多目标策略，在预训练后期引入潜在反馈以保证稳定性。实验显示，在 1B 参数模型上训练 400B token 后，该方法提升了验证损失、数学与代码生成性能，并能在更少 token 下达到标准 Transformer 效果。