Nick Cammarata:神经网络可解释性远超预期,九成神经元各司其职
birchlse · x · 2026-10-16
前 OpenAI 机制可解释性项目负责人 Nick Cammarata 发长文提出重大判断:可解释性可能是当下最重要的科学问题——不知道自己在造什么,就无法解决对齐问题。
核心反转:他早年参与早期机制可解释性研究时很悲观,当时用原始工具大规模自动化审计只能读懂约 2% 的神经元。而借助现代 agentic 工具更细致地审视后,图景完全不同——直至数万亿参数规模的模型,绝大多数神经元都可读。
研究者给出的具体例子:
- 经典的「猫+车」双响应神经元,其实一直在检测 V 形特征(猫脸、车头、狐狸吻部、火焰共有)
- 曾被解读为「狗神经元里藏着汽车信息」的经典 circuit,实际是神经元在共享姿态上的泛化,原始可视化有误导性
- InceptionV1 最终层原本几乎不可解释,仅靠架构改进(不改模型大小与训练数据)就让 99-100% 的神经元变得易读
- 对 Qwen3-32B 的初步审计显示约 90% 的 neuron poles 有单一主要功能,另有约 7% 承担相关功能
所属事件:Goodfire 联创长文称神经网络本就干净，可解释性远超预期(37 条相关)→
「漫话AGI」频道最新
- 在 P2P 房间里与 agent 对话测试，体验微妙到让人恍惚 — sull · 2026-10-16
- Yudkowsky 2008 年已预判「无新洞见造出 AGI」，正在应验 — jd_pressman · 2026-10-16
- iandanforth 补充：用流程和护栏兜底 AI 委派，需要全职团队投入 — iandanforth · 2026-10-16
- e/acc 创始人：Agent 是「数字动作的自动补全」 — beffjezos · 2026-10-16
- 什么样的任务才真正能委派给 AI：结果可验证且方法无需被审视 — iandanforth · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16