OpenAI 早期可解释性成员：如今万亿参数模型绝大多数神经元已可读

CatAstro_Piyush · x · 2026-10-16

前 OpenAI 机制可解释性项目成员 nickcammarata 长文提出，可解释性可能是当下世界上最重要的科学问题——不知道自己在构建什么，就无法解决对齐。他曾在 OpenAI 参与早期大规模自动化可解释性工作并因此感到悲观：当时用原始工具只能读懂约 2% 的神经元，网络看起来像任意缠绕的乱结。但随着现代 agentic 工具的进步和更细致的观察，图景完全不同了：在高达数万亿参数的模型中，绝大多数神经元和线路已经可以读懂。他认为这是个好消息。转发者配了一首关于神经元与 loss 的打油诗调侃。