研究发现 LLM 天然具备线性叠加能力,一次前向可生成两路连贯文本
Pavel Tikhonov · hf · 2026-09-25
这篇论文提出「叠加线性假说」:当来自不同文本流的输入被线性组合时,LLM 会输出各自下一 token 分布的叠加,即 Transformer 能同时「装下两种想法」。
关键发现:
- 叠加线性是 Transformer 架构的内在属性,而非训练涌现的产物;事实上随预训练推进,线性性反而逐渐减弱。
- 轻量微调即可大幅恢复线性性,显著缩小预测分布与各单流分布平均值之间的散度。
- 作者据此提出引导解码(guided decoding)程序,可将叠加的输出解缠,实现单次前向传播同时生成两段连贯续写。
这一结果对机制可解释性研究和多流并行生成都有直接意义。
「研究」频道最新
- 理论神经科学播客:神经形态计算如何加速 AI 并降能耗 — neurovium · 2026-09-25
- NeurIPS 2026 Oral：Offloading Score 首次量化对 AI 的认知依赖 — Diyi_Yang · 2026-09-25
- 普林斯顿 AgenticGenTAMP：用编码智能体合成机器人 TAMP 策略 — tomssilver · 2026-09-25
- 普林斯顿等用编码 Agent 合成可复用任务与运动规划策略 — tomssilver · 2026-09-25
- 9.8 万次仿真评测：机器人表现出「聪明过头」的物理推理 — tomssilver · 2026-09-25
- RIKEN AIP 团队提出用软标签实用估计贝叶斯最优公平性-精度权衡 — RatnRajiv · 2026-09-25