新研究：可解释性工具几乎无法帮 Agent 判断模型行为解释真伪
Sauers_ · x · 2026-10-04
Karvonen、Euan Ong 等研究者发布论文《Would This Change Your Answer? Evaluating Explanations of LLM Behavior in the Wild with Counterfactual Experiments》，用反事实实验评估可解释性（interp）工具对 LLM 行为解释的判别能力。
核心发现：interp 工具并不能帮助 agent 判断某个对模型行为的解释是否为真。
作者给出的原因：
- 工具输出几乎总是同时描述特征和行为，但这两者通常在对话记录（transcript）里本来就能直接看到；
- 工具输出几乎从不明确陈述因果关系的方向。
这意味着现有可解释性工具提供的解释在「因果增量信息」上很有限，提示解释性评估需要更严格的反事实检验标准。
「研究」频道最新
- Nonobench：49 个 LLM 玩数独画谜，15×15 通过率仅 20% — mauricekleine · 2026-10-04
- DNA 推翻四百年传说:奇琴伊察祭井童骸全是男孩,含两对同卵双胞胎 — aakashgupta · 2026-10-04
- 想学大模型训练？先读 DeepSeek、OLMO 等开源技术报告 — himanshustwts · 2026-10-04
- 13 个 AI 模型玩问诊游戏：195 次全诊断正确，安全表现才见分晓 — radeon2000 · 2026-10-04
- MuscleMimic 开源:同时控制人体 354 块肌肉,链式动作零样本泛化 — TinfoilTricorn · 2026-10-04
- Yacine 吐槽:论文自称碾压 SOTA,一查对比的是未调参基线 — yacineMTB · 2026-10-04