OpenAI早期可解释性研究者：万亿参数模型中绝大多数神经元已可读

eigenron · x · 2026-10-16

前 OpenAI 研究员 Nick Cammarata 引发一场关于 AI 可解释性的讨论。他表示，可解释性可能是当下最重要的科学问题——不知道自己在构建什么，就无法解决对齐问题。他曾在 OpenAI 参与早期的机制可解释性工作，当时因神经网络看起来像纠缠的乱结而感到悲观，其主导的首个大规模自动化可解释性项目用原始工具只能读懂约 2% 的神经元。但他指出，借助现代 agentic 工具和更深入的分析，直到万亿参数规模的模型中绝大多数神经元都已可读，电路结构也逐渐清晰。转推者 Aryaman 补充观点：MLP 神经元虽可解释，但仅知道这一点并不足以解决可解释性问题。