研究称 Transformer 可一次前向同时生成两路连贯文本

一项研究提出「叠加线性假说」：当来自不同文本流的输入嵌入被线性组合时，LLM 会输出各自下一 token 分布的叠加，即 Transformer 能在一次前向传播中同时「装下两种想法」。实验显示，将两段文本的嵌入向量取平均后，模型可同时预测两者的后续内容，且经过叠加态微调后原有能力可恢复，为模型能力研究提供了新视角。

2026-09-25 ~ 2026-09-26 · 2 条相关

• 研究发现 LLM 天然具备线性叠加能力,一次前向可生成两路连贯文本 — Pavel Tikhonov · 2026-09-25
• 研究发现 LLM 可同时持有两种想法:叠加态微调后可恢复 — KyeGomezB · 2026-09-26