可解释性争论：转向该用均值差还是梯度下降

johnhewtt 与 arunasank 围绕可解释性研究中「形式」与「估计器」的区分展开争论。10 月 27 日，johnhewtt 发布新博客《separating forms from estimators, or, why steer by difference of means?》，指出 steering、神经元分析等「形式」常与均值差（DoM）、在 log-loss 上做 SGD 等「估计器」混为一谈：许多 steering 工作把「用均值差构造转向向量」当成方法本身。他主张能用梯度就直接用梯度下降，而非默认依赖 DoM。

已确认

• johnhewtt 的核心论点：定位方法（可能出错）与激活修改方式（DoM 也可能错）不构成相互验证；DoM 在定位选出的层上效果更好，并不能证明两者各自正确。
• 他进一步指出，DoM 并不比基于梯度选择引导向量更透明——两者最终都要经过深度网络的非线性解释，谈不上谁更可解释。
• arunasank 回应：行为表现是中介变量有效的证据；他们论文中的 ReFT 等基于梯度的 steering 在有限设定下无需定位即可生效，这也是梯度方法的卖点之一。

为什么重要

• 这场争论触及可解释性研究的方法论基础：如果 DoM 既不更透明、也不比梯度方法更有效，那么以「均值差转向向量」为主流工具的大量 steering 与定位工作需要重新审视其正当性。
• 「形式 vs 估计器」的区分为社区提供了一个更清晰的概念框架，有助于评估各类干预实验到底证明了什么、没证明什么。

2026-10-27 ~ 2026-10-27 · 6 条相关

• 【源头】可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27
• 【源头】新博客:可解释性应区分「形式」与「估计器」,能用梯度就用梯度 — arunasank · 2026-10-27
• 【源头】Anthropic 研究员:梯度 steering 或让可解释性定位失去必要 — arunasank · 2026-10-27
• 可解释性争论:DoM 表现更好并非定位方法的强证据 — johnhewtt · 2026-10-27
• 可解释性争论:定位+DoM 有效不代表定位方法正确 — johnhewtt · 2026-10-27
• 学者质疑 DoM 引导方法：定位方法选对层不代表两者都正确 — johnhewtt · 2026-10-27