OpenAI 前员工:自动化可解释性已能读懂万亿参数模型的多数神经元

threepointone · x · 2026-10-16

nickcammarata(曾在 OpenAI 参与机制可解释性早期工作)发长文称,可解释性可能是当下最重要的科学问题,不搞清模型内部就无法解决对齐。他当年在 OpenAI 启动首个大规模自动化可解释性项目时,原始工具只能读清约 2% 的神经元,因此一度悲观。但用现代 agentic 工具重新审视后,即使万亿参数模型中的绝大多数神经元也可读,电路结构可被理解——若成立,对齐将不再靠猜。

转发者 threepointone 转述 abhijitwt 的解读:几年前人工读神经元只有约 2% 能看懂,现在 AI agent 来做阅读,大部分都能读懂;「bitter lesson 再次生效,在夸张规模上做笨办法就是有效」。配图片段强调谦逊:作者花了近十年、拥有可消融任意神经元、跑数十亿样本和无尽自动化科学家的条件,才对神经元「稍微不那么困惑」,并借此反思神经科学中多义性证据的判断。