OpenAI 前可解释性负责人：约 90% 神经元单一语义，叠加叙事错了
inductionheads · x · 2026-10-16
OpenAI 早期机制可解释性项目负责人 Nick Cammarata 发长文，抛出颠覆性结论：现代大模型的神经元远比此前认为的可读。其团队对 Qwen3-32B 的初步审计显示，约 90% 的神经元极点只有一个主要功能，另有约 7% 承担两个相关功能，只有约 2-4% 尚无法理解；稠密模型与 MoE 模型结果相近，万亿参数级的 Kimi K3 也呈现类似规律，细节将在配套论文中发表。
要点：
- 2019 年被解读为「叠加态」的经典视觉电路（Zoom In 中的汽车特征扩散到狗神经元）其实是误读，只是普通的泛化与组合，并无东西被「藏」进高维空间。
- 2023 年 Anthropic 的 Towards Monosemanticity 给单层小模型的中位神经元打出 14 分制中的 0 分；他在 OpenAI 启动的自动化可解释性项目当时也只能读出约 1.7% 的神经元。
- 换用现代 agentic 工具与更细致的审视后，图景完全不同：模型越大、表示越干净，越大模型反而更清晰地表征真相、空间、时间等概念。
- 他认为「多义性/叠加」很多时候是观察者工具不够好的问题，而非神经元本身的性质；并断言可解释性可能是当下最重要的科学问题——不知道自己在造什么就无法解决对齐。
转发者 teortaxesTex 指出，这等于对 Anthropic 高调宣传的可解释性科学叙事的重击，也印证了他对可解释性创业公司 Goodfire 的看好。
所属事件:前 OpenAI 研究员称神经网络本就干净，可解释性现重大突破(49 条相关)→
「漫话AGI」频道最新
- 「人均收入」成创始人新炫技指标：小团队大业务受追捧 — FinanceYF5 · 2026-10-16
- 小团队全是机器人：Slack 里「唯一有脉搏的人」式公司出现 — FinanceYF5 · 2026-10-16
- AI 提速 5 倍：按小时收费模式面临重做，数据中心遭反对 — FinanceYF5 · 2026-10-16
- 数据中心反对声超硅谷预期，AI 公司转向宣传「AI 利他」 — FinanceYF5 · 2026-10-16
- 产品要做「两次销售」：先让 Agent 选中，再让人买单 — FinanceYF5 · 2026-10-16
- VC 资助创始人的新路径：公司失败后转型创作者再孵化产品 — FinanceYF5 · 2026-10-16