可解释性研究价值之争：探针算不算成果、边界在哪

一场围绕可解释性研究价值的争论在研究者之间展开：Arthur Conmy 指出从 o1 到 o3 再到 astra，RL 的进展清晰可见，而可解释性研究的价值增量则不那么明确，并认为安全领域的其他方向也有进展。aryaman、saprmarks 等多位研究者随后加入交锋，围绕探针是否算 interp 成果、方法「混乱」是否等于领域失败展开多轮回应。

已确认

• aryaman 反驳了「探针（probes）简单且未被 mechinterp 研究改进」的说法：在前沿实验室将 probes 部署到生产并持续改进的，主要是可解释性研究者，因此 probes 应被视为 interp 的实际成果。Arthur Conmy 也同意这一反驳，同时承认 interp 整体上仍然「一团混乱」，但强调 RL 的进步轨迹更为清晰
• aryaman 进一步质问：当前成功 RL 的方法论与 o1 之前的 RL 理论已截然不同，RL 同样是「一团混乱的技术」，其渐进式 algoslop 无人苛责，interp 却被苛责，存在双重标准；他的核心论点是：在以实证为主的活跃科学领域中，方法混乱与领域是否成功本无必然关系
• saprmarks（activation oracles 论文作者之一）在争论中澄清：他并不认为 activation oracles、NLA 这类方法属于「机械可解释性」（mech interp），并指出论文中就有一节明确说明 activation oracles 不属于此类；他还进一步补充，出于类似理由，监督式激活探针（supervised activation probes）同样不算 mech interp
• 据 raphaelmilliere 对讨论的转述，Mark Saparov 认为这类方法虽不符合严格的机械可解释性定义，但将成为大多数自称 mech interp 研究者实际使用的路径（「牛仔式可解释性」之辩）
• Arthur Conmy 列出对 mech interp 前景的立场：他希望 mech interp 胜出，认为新模型在无 CoT 时间跨度上的改进提供了机会，但 mech interp 必须大幅提速、不能等 8.5 年，且他不认为 interp 的成功是必然的，也不是必需的

为什么重要

• 这场争论触及 AI 安全社区一个持续争论的问题：如何评估可解释性研究是否产出了实际价值，而 probes 在前沿实验室的生产部署被作为关键证据提出
• RL 与 interp 的对照引出研究标准是否一致的质疑，对安全研究的资源分配与方向选择具有参考意义
• activation oracles 作者亲自澄清方法归类，且将监督式激活探针也排除在 mech interp 之外，说明「什么算 mech interp」的边界本身就在被重新界定，这直接影响该领域成果的评估口径

2026-09-07 ~ 2026-09-07 · 10 条相关

• 【源头】可解释性研究者回击:探针技术并非止步不前 — aryaman2020 · 2026-09-07
• 可解释性研究者反驳 probes 质疑，承认 interp 整体仍混乱 — ArthurConmy · 2026-09-07
• aryaman 质问：RL 的 algoslop 为何不被苛责，interp 却被？ — aryaman2020 · 2026-09-07
• 【源头】研究者对比 RL 与 interp：RL 明显进步，interp 价值不明 — ArthurConmy · 2026-09-07
• aryaman：RL 方法同样混乱，却不妨碍领域成功 — aryaman2020 · 2026-09-07
• 【源头】Activation Oracles 作者亲口承认：这不是机械可解释性方法 — saprmarks · 2026-09-07
• saprmarks 再补一刀：监督式激活探针也不算机械可解释性 — saprmarks · 2026-09-07
• 可解释性研究员：mech interp 必须大幅提速，不能等 8.5 年 — ArthurConmy · 2026-09-07
• 研究者激辩机制可解释性前景:坚持还是转向 CoT 监控路线 — ChrisGPotts · 2026-09-07
• 「牛仔式可解释性」:NLA 等方法进生产,机制可解释性阵营起争论 — raphaelmilliere · 2026-09-07