新论文借「死鲑鱼 fMRI」警示:AI 可解释性充满虚假发现

sebkrier · x · 2026-10-16

sebkrier 转发并解读 arXiv 新论文《The Dead Salmons of AI Interpretability》(arXiv:2512.18792,格勒诺布尔大学等机构)。2009 年神经科学家把一条死大西洋鲑鱼放进 fMRI 扫描,给它看人类社交场景图片,当时的标准统计分析竟显示死鱼脑区有与情绪识别相关的「活动」——这成了统计噪声未校正导致虚假发现的经典教训。

论文指出 AI 可解释性领域正充满类似的「死鲑鱼」伪影:特征归因、probing、稀疏自编码器(SAE)甚至因果分析,都能对随机初始化的神经网络生成看似可信的解释。作者主张一种「统计-因果」重构:把解释当作从计算轨迹中推断的统计模型参数,可解释性方法应视为统计估计器,发现需与明确的替代计算假设对比检验并量化不确定性;并指出常见可解释性查询的可辨识性等理论问题,是本领域易产生假发现、泛化差和高方差的根源。