Cammarata 万字长文引爆 AI 圈:神经网络可能远比想象中可理解
MIT Tech Review AI · rss · 2026-10-20
Goodfire 研究员、前 OpenAI 可解释性先驱 Nick Cammarata 发表 2.6 万字博客,声称 LLM 可能远比人们此前认为的更容易理解和监控,引发行业热议,有人称其为「年度最重要 AI 论文」「可能被铭记的科学史时刻」。
核心论点
- 过去认为神经网络训练后形成人类无法理解的缠绕结构(「像种花园而非造桥」),可解释性研究因此聚焦于「解结」。Cammarata 曾也是最悲观者之一。
- 他在过去一年每天约 10 小时直接观察神经元,发现网络内部其实有逻辑:「我们以前看错了」。确认偏差让研究者一见不懂就归咎于纠缠。
猫与车神经元的新解释
- 2020 年团队曾发现 Inception v1 一个神经元同时响应汽车和猫,归因于「叠加(superposition)」。如今他用新视角再看:两者共享 V 形特征(猫脸、车头),还响应台球桌角、新干线车头、消防船水柱,而被圆形 O 形关闭。
- 结论:模型把它们放在一起是因为「在某种层面上它们看起来相同」——原结论可能从一开始就错了。
争议与展望:斯坦福 Chris Potts 认为这只是直觉而非证明,「并没有让问题变容易」。Cammarata 表示若给他 10 万年逐电路审视前沿模型,「很有希望获得好的理解」——而自动化科学家将大大加速这一过程。其团队已开始研究现代 LLM,技术结果即将发表。
「漫话AGI」频道最新
- Brynjolfsson 等提出经济学家应对变革性 AI 的九大研究挑战 — soumitrashukla9 · 2026-10-23
- Brynjolfsson 回应「制度追不上 AI」论：用创业活力证明哈耶克学派 — erikbryn · 2026-10-23
- 3 Quarks Daily 公布 AI 政策：仅在有增量价值时使用 AI 辅助写作 — lmoroney · 2026-10-23
- 3 Quarks Daily 发布细致的 AI 写作政策:按内容类型定 AI 角色 — lmoroney · 2026-10-23
- Dario 预言应验:Mythos 引发安全海啸预警,中国模型追平窗口仅剩数月 — rickasaurus · 2026-10-23
- php2shell 零日爆出，Anthropic 用 Claude 自动缩减 25 个开源项目攻击面 — connoraxiotes · 2026-10-23