Yoav Goldberg 激辩可解释性研究：机制理解优先于转向操控

8 月 26 日，知名 NLP 学者 Yoav Goldberg 在社交媒体上就可解释性研究的定位连发多条观点，并与多位网友交锋，引发一轮关于「可解释性到底为了什么」的讨论。当前争论的核心分歧在于：可解释性研究应以理解模型机制为目标，还是以下游任务（操控、探测、干预）的效果为评判标准。

已确认

Goldberg 认为，可解释性研究的核心目标是进一步理解模型机制，发明新方法只是副作用；若目标是理解机制，那么帮助理解的进展就是真实的。
他提出，如果研究目标是「转向」（steering）且以转向效果评判好坏，那这本质上已不是可解释性研究，而是带着无用枷锁（可解释性方法）的转向研究；类似地，他认为「可行动的（actionable）可解释性研究」是可解释性研究中较次一等的形态，并以挑衅姿态邀请网友反驳。
他补充指出，部分解释结果本身可能不具备因果性但仍有价值，例如研究显示模型权重中的知识表示高度冗余，虽难以设计因果实验，结论仍有意义；他还以「知识编辑」为例提醒：仅通过编辑特定位置权重并观察行为变化就断言知识存储于该位置具有误导性，因为干预的可能是路径的最后一环而非知识实际存储位置。
@EEnouen 提出对立方观点：可解释性研究应针对特定下游目标（如操控、探测）做爬山式优化，而非仅优化忠实度等内在指标；若一种解释方法不能在推断行为、干预或操控上优于简单基线，那它可能只是「虚假进步」。
@aryaman2020 呼应并补充称，「实用可解释性」的主要缺陷在于它试图解决的问题与后训练研究人员相同，但后者不受限于可解释性这一特定研究方法。

这场争论直指当前可解释性领域的路线之争：随着「转向/操控」成为热门应用方向，以工程落地为导向的评估标准是否正在侵蚀该领域对模型机制的深层理解，还是恰恰提供了防止「虚假进步」的现实检验，将影响研究者的方法选择与评价体系构建。

2026-08-26 ~ 2026-08-26 · 8 条相关