OpenAI 早期可解释性操盘者改观:万亿参数模型大多数神经元已可读

josh_wills · x · 2026-10-17

nickcammarata(曾在 OpenAI 参与早期机制可解释性工作、并启动首个大规模自动化可解释性项目)发长文称,可解释性可能是当下最重要的科学问题——不对齐研究无法建立在「不知道模型内部在做什么」之上。当年用原始工具只有约 2% 的神经元可读,令他悲观;如今借助 agentic 工具深入观察,直到万亿参数规模的模型中绝大多数神经元都可读,电路结构清晰得多,情况已完全不同。

引用回复中 Dorialexander 补充一个被忽视的变量:数据形状。Qwen-3、Kimi 等最新模型大量使用「干净」的合成数据/环境训练,这种数据分布本身会影响叠加(superposition)与特征的形成,值得纳入讨论。