新架构 LIFT：让 Transformer 反馈潜状态，数据效率翻倍

Tirosh Dor 团队发布首篇论文提出 LIFT 架构：语言模型在每一步生成时将末层潜状态反馈回首层，相当于让 Transformer 向自身反馈超过单个 token 的信息，把类似 RNN 的循环机制带回 Transformer，同时保留逐位置完全并行预训练的能力。实验显示该架构数据效率翻倍。

2026-10-30 ~ 2026-10-30 · 2 条相关

• 首篇论文 LIFT:让 Transformer 每步反馈潜状态而非单 token — megamor2 · 2026-10-30
• LIFT 架构让 Transformer 带回循环，数据效率翻倍 — megamor2 · 2026-10-30