警惕 AI 解释出错:归因分数校验法 Captum 误差达 1,Tangermeme 仅 10⁻⁷
bravo_abad · x · 2026-10-10
基因组模型会标注哪段 DNA 重要，研究者可能据此决定实验方向——但计算归因分数的软件本身可能悄悄出错。
- Schreiber 在 Tangermeme 论文中记录了该问题：DeepLIFT/SHAP 的部分实现（用于估计各输入对预测的贡献）遇到不支持的操作时会返回错误分数。
- 实用校验方法：各 DNA 碱基的归因贡献之和，应等于该序列预测值与参考序列预测值之差；未解释的残差应接近零。
- 实测对比：某个自定义模型输出上，Captum 的残差约为 1，而显式处理该操作的 Tangermeme 残差约 10⁻⁷。
在选择下一个实验前，先检查 AI 的解释是否可靠。
「研究」频道最新
- Anthropic 研究员发问:有限单群分类的形式化会在下周到来吗? — geoffreyirving · 2026-10-10
- 细胞回春疗法早期试验:3 名青光眼患者中 2 人视力改善 — kimmonismus · 2026-10-10
- 陶哲轩发文："大数学"与"大物理"时代已真正到来，手指敲代码显得过时 — CatAstro_Piyush · 2026-10-10
- Sakana 研究员对谈：人工生命与进化算法思想将随自主 AI 兴起而更重要 — kenneth0stanley · 2026-10-10
- NBER 论文：机器投资的高技能人才需求 45% 来自外部供应商而非投资企业自身 — soumitrashukla9 · 2026-10-10
- Quanta 长文:AI 攻克数学难题,数学家陷入存在危机 — MacrinePhD · 2026-10-10