LIFT 架构让 Transformer 带回循环，数据效率翻倍
megamor2 · x · 2026-10-30
Tirosh Dor 团队发布首篇论文 LIFT：一种在每一步将末层的潜在状态反馈回首层的语言模型架构，同时保留 Transformer 逐位置并行预训练的能力——相当于把 RNN 的循环思想重新引入 Transformer 而不牺牲训练并行性。作者声称达到同等水平所需的训练数据量，LIFT 只需传统 Transformer 的一半（即 Transformer 需要 2× 数据才能追平）。
所属事件:新架构 LIFT：让 Transformer 反馈潜状态，数据效率翻倍(2 条相关)→
「研究」频道最新
- 斯坦福研究:散步使 81% 受试者创造性思维得分提升 — beechinour · 2026-10-31
- 新论文主张用 20 瓦的脉冲神经网络补充高耗能 Transformer — ziv_ravid · 2026-10-31
- 研究揭示：SOTA 潜在世界模型无一真正建模环境动力学 — udmrzn · 2026-10-31
- kalomaze 公开 LoRA 微调实验：多 epoch 配 WSD 衰减效果最好 — kalomaze · 2026-10-31
- Zip-NeRF 全融合 CUDA 实现：训练快 6-7 倍、渲染快 10 倍 — jon_barron · 2026-10-31
- AI自动评分与精神科医生中度一致,仿真评估可靠但难测增益幅度 — SRSchmidgall · 2026-10-31