LIFT 架构让 Transformer 实现深层向浅层反馈

有研究者提出 Latent Information Feedback Transformers（LIFT）新架构，针对标准语言模型中信息只能通过解码出的 token 从高层向低层传播所形成的瓶颈，引入潜在信息反馈机制，使 Transformer 的深层能够直接向浅层反馈信息。该架构在获得深层到浅层反馈能力的同时，训练过程仍可完全并行，不损失并行化优势。

2026-10-01 ~ 2026-10-01 · 2 条相关