新论文警告 AI 可解释性的「死鲑鱼」假发现问题

kchonyc · x · 2026-11-23

arXiv 论文《The Dead Salmons of AI Interpretability》借神经科学著名的「死鲑鱼 fMRI」研究警示:AI 可解释性领域存在大量类似伪发现——特征归因、probing、稀疏自编码甚至因果分析,都能在随机初始化网络上产出看似合理的解释。论文主张把可解释性方法重新框架为统计估计器:解释应被视为从计算轨迹中推断的统计模型参数,需对照明确的替代计算假设进行检验并量化不确定性。作者还指出常见可解释性查询的可辨识性等理论问题,认为这是该领域易产生假发现、泛化差和高方差的根源。数学家Maxime Peyrard 转发时补充:如今数学家不得不对 Lean 证明程序做可解释性,寻找忠实于证明的人类可理解抽象流,但很容易被表象迷惑。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →