新论文警告 AI 可解释性的「死鲑鱼」假发现问题
kchonyc · x · 2026-11-23
arXiv 论文《The Dead Salmons of AI Interpretability》借神经科学著名的「死鲑鱼 fMRI」研究警示:AI 可解释性领域存在大量类似伪发现——特征归因、probing、稀疏自编码甚至因果分析,都能在随机初始化网络上产出看似合理的解释。论文主张把可解释性方法重新框架为统计估计器:解释应被视为从计算轨迹中推断的统计模型参数,需对照明确的替代计算假设进行检验并量化不确定性。作者还指出常见可解释性查询的可辨识性等理论问题,认为这是该领域易产生假发现、泛化差和高方差的根源。数学家Maxime Peyrard 转发时补充:如今数学家不得不对 Lean 证明程序做可解释性,寻找忠实于证明的人类可理解抽象流,但很容易被表象迷惑。
「研究」频道最新
- 研究者看衰文件系统做上下文层:关系模型的旧剧本会重演 — sh_reya · 2026-11-23
- Gary Marcus 质疑黎曼猜想 AI 证明:没人说得清用了什么系统 — GaryMarcus · 2026-11-23
- AI 数学家论 P=NP:多项式时间不等于实用快速 — alex_peys · 2026-11-23
- Lean 专家下场:黎曼猜想证明大概率有效 — MickeySteamboat · 2026-11-23
- 弦论名家 Vafa 用 Claude 合作制作视频:或为弦论首个具体证据 — calabi_and_yau · 2026-11-23
- 黎曼猜想也被攻破,人们却在吵 LLM 会不会乘法 — lxrjl · 2026-11-23