神经网络「本来就干净」：可解释性研究者的范式级观点转向

teortaxesTex · x · 2026-10-16

评论者 teortaxesTex 转述一篇可解释性长文并称其激动之处在于「这是范式转变，不只是统计分布上的小更新」。被引文字的核心论点：

「神经网络本来就是干净的」是更深的判断：不止于神经元单义性——虽然按这个标准看，网络也比领域预期整洁得多。网络各部分天生就是为下游「读者」被读取和复用的，一个神经网络几乎是「解释的分子结构（fractal of explanations）」：宏观尺度上是机制，微观尺度上是递归泛化塑造的分组。可解释性的目标因此是「成为另一个读者」。
这是「质变」而非「程度变化」：作者否认「比想象中干净」这种说法——真正的更新是改变了对「生成机制的过程是什么」的理解，类比从智能设计论转向自然选择：不是越来越多机制被证明进化而来，而是意识到所有机制都出自另一类过程。他们对这一判断约有 85% 的信心。
对单义性的态度降温：多义性的成因比数量更重要，可以顺着「生长方式」把分叉当作子分支处理；组织性部分源于训练效率——在网络已有「汽车区」的地方追加汽车特征，比另建一个新区更省。这与 circuit racing、gradient starvation 等概念相关。

「漫话AGI」频道最新