OpenAI可解释团队创始人长文：神经网络本就干净，可解释性或很快解决

机器之心 · wechat · 2026-10-16

OpenAI可解释团队创建人 Nick Cammarata 发布超长文章，主张「黑箱」是误解，可解释性可能很快被解决——可解释性领域的「苦涩教训」：简单的方法在荒谬的规模下就能奏效。

核心论点：

叠加假说看错了：经典案例（InceptionV1 同一神经元识别猫脸与汽车前脸）重新检查后发现，二者共享「V形」特征——神经元未必像名词贴标签，也可能像动词区分模式。superposition 是最激进、最难证伪的解释，理应作为最后假设。
多义性实为「递归泛化」：神经元从单个模式出发沿语义相邻领地分叉生长（如「iy」→「diy」→「do it yourself」；地质神经元分枝到名为 Cesium 的 JS 库），并非无关概念的随意混装。工具也会制造误解：一个被标为「多义逗号神经元」的单元实际与科罗拉多州相关，逗号只是模型汇总语境的位置。
可解释神经元比例远超预期：2023 年 OpenAI 自动可解释性项目最宽松标准下仅约 1.7% 神经元可解释；如今 Qwen3-32B 初步审查中约 90% 神经元正负极各有一项主要工作，稠密与 MoE 结论相近（Kimi K3 上同样），重审 GPT-2 XL 约已 70%。团队还做出已知首个万亿参数模型的归因图。
智能体改变研究规模：AI 检查样本、提出解释、追踪连接、设计实验；用「第二智能体根据解释生成新激活样本」的方式让解释成为可被实验推翻的假说，有些生成样本激活强度超过从百亿 token 语料找到的所有例子。
反直觉发现：理解更多网络反而让剩余部分更易理解，像填字游戏；大模型神经元分工更细可能更易辨认。

作者强调这非「已解决」宣言，注意力机制、完整审计与安全转化仍待做，但方向值得认真检验：未来突破可能来自 AI 科学家参与运转的实验室。

「漫话AGI」频道最新