「残差流叠加真实但不重要」:banburismus 回应 Nanda 的可解释性观点

burny_tech · x · 2026-10-19

banburismus 针对 Neel Nanda 关于叠加（superposition）的讨论提出解读：残差流叠加很容易存在，但神经元本身可能基本是单一功能（monofunctional）的——这正是相关实验结果的含义。若如此，残差流叠加虽然真实存在，却并不特别重要：只要把各神经元的功能理解透彻，就能直接读出所有信息。他坦承这一论证忽略了 attention，是很大的过度简化；但若对 attention 也有类似程度的理解，残差流叠加就既真实、又只有很小的重要性——其影响仅来自神经元与注意力头之间的偶然串扰。