可解释性圈激辩:残差流叠加可能真实存在但并不重要

burny_tech · x · 2026-10-19

nablatheta 在回复 Neel Nanda 关于叠加（superposition）的观点时提出一个具体猜想：模型可以在「最大化残差流叠加」与「最大化神经元叠加」之间权衡，最优点可能在中间。例如把一个概念只摊到 4 个残差通道而非整个残差流，每个神经元只需 4 个权重即可读取该概念——轻微牺牲残差容量，却大幅降低信息指定的复杂度，从而让每个神经元能装下更多概念。

banburismus 补充自己的解读：残差流叠加容易存在，但神经元可能基本是单一功能的；这种情况下残差流叠加虽真实存在却并不重要——只要充分理解各神经元的功能就能直接读出信息。他承认忽略了 attention，是很大的过度简化；若对 attention 也有类似理解，残差流叠加的重要性仅来自神经元/注意力头之间的偶然串扰。