首篇论文 LIFT:让 Transformer 每步反馈潜状态而非单 token
megamor2 · x · 2026-10-30
一篇新论文提出 LIFT:语言模型在每一步生成时,把最后一层的潜状态传回第一层,相当于让 Transformer 向自身反馈超过一个 token 的信息,而且仍能完全并行地进行预训练。
这是作者 TiroshDor 的第一篇论文,与 @AmosaurusRex、@megamor2 合作,附有详解推文串。
「研究」频道最新
- WSDM 2027 将办首届 LongSeek 研讨会，聚焦长时程信息检索 — mrdrozdov · 2026-10-30
- 开发者用 Lean 4 形式化非对称度规张量论文，174 次提交开源 — SubtleGradient · 2026-10-30
- AI 谄媚或推高论文产量？研究者质疑发表激增成色 — KLdivergence · 2026-10-30
- Tahoe AI 推出 Tara 插件:让 Claude Code、Codex 直接调用亿级细胞药物数据集 — anshulkundaje · 2026-10-30
- 10 万小时真实对话数据集 Joy 发布：教语音模型学会人类何时插话 — Scobleizer · 2026-10-30
- Berkeley 研究者发布 Exo 架构:Agent 运行时安全自改进,成本降 31-62% — arena · 2026-10-30