可解释性研究撞墙：电路消融跨任务误伤，特异性存疑
bearseascape · x · 2026-09-05
作者宣布其电路可解释性论文入选 COLM 2026 Sci-FM Workshop 口头报告，并汇总了新实验进展。
- 核心发现：为解释模型行为而提取的「电路」未通过一项基本检验——消融 A 任务的电路，对 B 任务的伤害与消融 B 自身电路相当，说明电路并非任务特异。
- 旧结论：组件级电路虽然一致（consistent）且因果必要（necessity），却不特异（specific）。作者猜测是超叠加（superposition）导致单个组件承担多个无关角色。
- 新实验：改用更细的归因方法（EAP-IG、RelP），下探到单个 MLP 神经元层级，寻找更稀疏的基底（借鉴 @aryaman2020 等人「神经元本身即可作稀疏基底、无需额外训练」的工作）。
- 新权衡：神经元级电路的特异性确实提升——消融任务自身电路的伤害显著更大；但一致性大幅下降，同一任务不同样本间几乎很少有神经元复现。
这项工作对「电路分析能否真正刻画模型解题机制」提出了根本性质疑。
所属事件:电路可解释性撞墙:消融跨任务误伤,特异性存疑(4 条相关)→
「研究」频道最新
- 的形式化验证壁垒为何被 LLM 消解 — teortaxesTex · 2026-10-23
- 日本 Moonshot IoB 脑机接口项目公开五年研究成果海报 — kaixhin · 2026-10-23
- 指标口径变更会骗过 Agent：开发者提出专属 eval 设计思路 — jylusdev · 2026-10-23
- ruff 作者发问：AI 芯片设计从 RISC-V 扩到 x86 有多难 — charliermarsh · 2026-10-23
- Transformer 联合建模电子与磁性，能量误差仅 0.01% — bravo_abad · 2026-10-23
- Google Cloud AI 发布 PLE 基准：所有前沿模型真实工程任务得分不足 50% — sainingxie · 2026-10-23