论文质疑可解释性：黑盒提示常胜白盒工具
aryaman2020 · x · 2026-08-22
论文《Pando》探讨当模型拒绝解释自身时，可解释性方法是否依然有效。研究引入了新的模型生物基准来消除“诱导混淆”（即白盒工具的收益可能只是 elicitation 而非内部信号）。
主要发现：
- 在 720 个微调模型上的测试表明，当解释忠实时，黑盒提示的效果匹配或超过所有白盒方法。
- 当解释缺失或误导时，基于梯度的归因可提升 3-5% 的准确率，Relevance Patching (RelP) 收益最大。
- Logit Lens、稀疏自编码器 (SAE) 和电路追踪未提供可靠益处。
- 方差分解显示梯度追踪决策计算，而其他方法受任务表征和偏见主导。
所属事件:Anthropic 研究：可解释性工具难敌直接读文本(15 条相关)→
「研究」频道最新
- Transformer 训练蝙蝠神经数据建成海马体"数字孪生",揭示未知群体活动结构 — patrickmineault · 2026-10-16
- RLM 发布一周年:递归语言模型让 GPT-5-mini 长上下文成绩翻倍且更省钱 — a1zhang · 2026-10-16
- MIT 博士 Sharut Gupta 入职 DeepMind,答辩 talk 被导师力荐 — phillip_isola · 2026-10-16
- 每图元仅 10 参数:36 个图元精准拟合 T-pose 人体 — letandrewcook · 2026-10-16
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16