研究发现 LLM 可同时持有两种想法:叠加态微调后可恢复
KyeGomezB · x · 2026-09-26
HuggingPapers 推荐的一项研究指出,Transformer 天然支持「线性叠加」:把两段文本的嵌入向量取平均,LLM 就能在一次前向传播中同时预测两者的后续内容——相当于模型同时持有两个想法。
- 机制:这种叠加能力内置于 Transformer 架构,但会在预训练过程中逐渐消失。
- 恢复方法:通过轻量微调可以把它找回来。
- 应用:作者展示了如何从单次前向传播中同时解码出两条内容流。
所属事件:研究称 Transformer 可一次前向同时生成两路连贯文本(2 条相关)→
「研究」频道最新
- AI Futures Project：METR 数据指向 2027 年智能爆炸，bshlgrs 给出 1/3 超智能概率 — EvanHub · 2026-11-11
- Geodesic 发布 NovaAtom-Lite：抗体-抗原结构预测得分 79%，超 AlphaFold 3 — QuanquanGu · 2026-11-11
- 容易造基准的任务也容易拿来训练：可量化即可能被刷分 — gleech · 2026-11-11
- Astra 发布 HyInv 与 HyPLM-Flash：蛋白质模型速度最高快 57 倍 — zdhnarsil · 2026-11-11
- CoRL 2026 最佳论文提名 Play2Perfect 移植到新机器人与仿真器 — leto__jean · 2026-11-11
- tszzl 晒神经元观察：模型内部抽象不可还原且有趣 — tszzl · 2026-11-11