MAttr：把归因当训练目标，500 步即刷新可解释性基准 SOTA

aryaman2020 · x · 2026-09-24

作者 Aryaman 发布可解释性新方法 MAttr，核心思路是把经典归因问题转化为训练目标：

方法：用可微的 sigmoid top-k 算子（无需稀疏损失、无直通估计）参数化因果干预，训练时以 judge 评分为奖励做强化学习，训练过程中随机化 top-k 预算即可得到归因排序；与以往作用于表征不同，MAttr 将掩码应用于两个 checkpoint 之间的模型权重，从而把 LLM 的定性行为追溯到训练中被更新的那部分参数。
效果：在机制可解释性基准 MIB 上，每个子任务仅需 500 步训练即在节点级方法中达到 SOTA，logit 差显著高于基线，且找到的单元集合非常紧凑。
泛化性：排序并非过拟合——MIB 减法任务上学到的归因排序，迁移到 Month 模加任务仍能恢复 86% 的性能。
附录：还包含将 emergent misalignment 等微调行为追溯到参数增量的实验、虚拟权重的玩具模型、Vision Transformer 实验，以及与单步 Integrated Gradients 的理论联系，回应了 "Impossibility Theorems" 论文对直接优化归因的号召。

「研究」频道最新