研究者反思:叠加不该是可解释性的默认假设

hrishioa · x · 2026-10-16

hrishioa 引用并赞同一段关于机制可解释性方法论的反思:作者在检验数百个案例后发现,每当强激活解释不通,研究者就把「叠加(superposition)」挪到弱激活或未见过的神经元上去解释——这其实是把叠加当成了零假设(null hypothesis)。

作者现在认为叠加应被当作「最后一个假设」而非默认假设,因为它最激进也最不可检验:解释不通的现象既可能真是叠加,也可能是工具出错(feature visualization reward hacking)、未理解的递归泛化或糟糕架构。Anthropic 2022 年的 Softmax Linear Units 论文也承认,叠加常仅凭直觉被当作默认解释,而缺乏足够证据。