用模拟分数检验神经元解释:不能模拟就不算真理解

burny_tech · x · 2026-11-22

作者针对 Nick Cammarata 关于神经元多义性的观点提出回应:理解是程度问题,模拟(simulation)给出的理解程度高于相关性分析和因果干预(消融、概念替换等)。

核心主张是:要宣称理解了一个神经元,仅看激活样例“看起来不错”不够,必须能用模拟值替换神经元激活而不显著降低模型表现。这需要写出具体评分标准(rubric),例如“狗真的骑在自行车上是 4.5 分,有狗有自行车但没骑是 3.2 分”,再用模拟值代入检验;若模型性能大幅退化,说明解释是错的。

作者承认 simulation KL 指标并不完美,也理解“过度依赖指标”的批评,但认为它避免了只看激活样例时难以察觉的两类失败模式。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →