研究者批机制可解释性是「诱饵调包」：神经元研究偏离泛化理解初衷

tak3sh8 · x · 2026-11-01

帖子引用并呼应 Andrew Carr 的观点：AI 领域的机制可解释性（mechanistic interpretability）是一场巨大的错失机会。许多人本想加入这项工作，以为它意味着对泛化的机制性理解，结果却发现是「诱饵调包」——转向了一个极其小众、晦涩、且设计不佳的方向：研究单个神经元的作用。

配图给出了平行类比：贝叶斯方法在 AI 中也曾如此——人们以为它代表对学习、不确定性和泛化的有原则的理解，实际却变成了指定任意先验、近似难解后验、把一切解释成贝叶斯推断的小众努力。作者借此指出对齐与可解释性研究的通病：听起来有吸引力的理念，常被窄化为技术性很强但偏离初衷的议程。