Yudkowsky 吐槽可解释性研究：找到「埃菲尔铁塔神经元」离对齐还远

nptacek · x · 2026-10-16

引用推文再现了 Yudkowsky（MIRI）与 AI 圈的一段对话：他认为真正的对齐需要能足够细致地预测模型思维、即便其思维偏离人类也能提前预判，而 SFT/RL 这类外部施压只是权宜之计；机械可解释性本该是通往这一目标的起点。但当他看到研究者兴奋于「发现模型想到埃菲尔铁塔时被激活的神经元」，甚至不止一个神经元时，他讽刺道：业界满足于这种发现，永远不会朝积极方向更新。nptacek 转发并附和「yud will never update in a positive direction」，折射出对齐保守派与可解释性研究群体之间的长期路线分歧。