OpenAI 前自动可解释性负责人:万亿参数模型的电路大多已可读

soleio · x · 2026-10-16

OpenAI 早期机制可解释性研究者 Nick Cammarata 发长文称,可解释性可能是当下最重要的科学问题——不知道自己在构建什么就无法解决对齐。他早年参与 OpenAI 早期工作时的结论是悲观的:神经网络像任意缠绕的结,当时的原始工具只能辨认约 2% 的神经元。但多年后他主导了 OpenAI 首个大规模自动化可解释性项目,如今用现代 agentic 工具更细致地观察,发现直到万亿参数规模,模型的绝大多数神经元与电路都是可读的,图景与当年完全不同。

转发者认为 Goodfire 可能是 spc 孵化的最重要公司之一,证明可解释性与对齐可以作为工程问题来攻克。