mech interp 圈争论:「不是因果的」不该是万能否决词
burny_tech · x · 2026-11-06
研究者 liusida2007 发文《Not Everything in Mech Interp Has to Be Causal》,回应机制可解释性(mech interp)讨论中常见的批评——一项研究只要没证明因果效应,就被两个字「not causal」打发。
- 作者承认:如果研究声称某 feature 导致模型某行为,因果证据确不可少
- 但并非每项 mech interp 工作都做了这种声称;把因果性当作普遍要求,会忽视其他类型的科学进步
- 描述性工作与因果检验常常互相滋养:描述性发现可激发因果假设,因果实验也可能揭示意外的内部模式或推翻早先解读
- 评价研究的恰当问题不是「是否因果」,而是它声称教给我们关于模型的什么、证据是否支持该声称
这是对社区评审文化的一篇方法论反思,转发者 burnytech 附言「请别说丧气话」。
「研究」频道最新
- 理论计算机科学家谈密码学假设：再强的 AI 也找不到不存在的算法 — fortnow · 2026-11-06
- Lambda 携手 NVIDIA 与李飞飞实验室发布 I3L:全身移动操作成功率提升 68.3 点 — TheZachMueller · 2026-11-06
- 具身智能关键在能力边界:System-1 并行与 System-2 自回归如何分工 — ZhidingYu · 2026-11-06
- LLM 智能体记忆新架构论文过审：四层「组织共享皮质」设计 — letandrewcook · 2026-11-06
- 苹果 GSM-Symbolic 论文：只改名字数字，SOTA 模型数学成绩就大跌 — imjustnewatai · 2026-11-06
- Elicit 将在 ISPOR 维也纳展示 AI 辅助系统综述的 Cochrane 标准评估 — elicitorg · 2026-11-06