研究发现 LLM 天然具备线性叠加能力,一次前向可生成两路连贯文本
Pavel Tikhonov · hf · 2026-09-25
这篇论文提出「叠加线性假说」:当来自不同文本流的输入被线性组合时,LLM 会输出各自下一 token 分布的叠加,即 Transformer 能同时「装下两种想法」。
关键发现:
- 叠加线性是 Transformer 架构的内在属性,而非训练涌现的产物;事实上随预训练推进,线性性反而逐渐减弱。
- 轻量微调即可大幅恢复线性性,显著缩小预测分布与各单流分布平均值之间的散度。
- 作者据此提出引导解码(guided decoding)程序,可将叠加的输出解缠,实现单次前向传播同时生成两段连贯续写。
这一结果对机制可解释性研究和多流并行生成都有直接意义。
所属事件:研究称 Transformer 可一次前向同时生成两路连贯文本(2 条相关)→
「研究」频道最新
- Baseten 首届 All-Gather 研究大会公布议程：Noam Brown、Oriol Vinyals 等出席 — vjkaruna · 2026-11-11
- 1960 年「末日方程」神预言:2026 年 11 月 13 日人口将趋于无穷 — csvoss · 2026-11-11
- 论文关键假设:生产率 a 随人口 N 单调增长 — csvoss · 2026-11-11
- 1960 年论文预言:2026 年 11 月 13 日人口将达无穷大 — csvoss · 2026-11-11
- 「LLM 天生不连续」是误解：token 只是连续过程的采样读数 — Sauers_ · 2026-11-11
- 「322 面墙倒了」：一份持续追踪 AI 攻破各领域纪录的清单 — IgorCarron · 2026-11-11