nickcammarata 称万亿参数模型多数神经元可读,引发可解释性激辩
burny_tech · x · 2026-10-16
OpenAI 早期机制可解释性项目共同作者 nickcammarata 发布长文，认为可解释性可能是当下最重要的科学问题——不知道自己在构建什么就无法解决对齐。他曾因神经网络呈现为「任意纠缠的结」而对可解释性悲观，其早期大规模自动可解释性项目仅能让约 2% 的神经元可读；但借助现代 agentic 工具深入观察后，他发现从现有模型到万亿参数规模，绝大多数神经元都可读，电路也变得可理解。
这一乐观判断随即遭遇质疑：
- Jake Mendel 读完 15 分钟后认为，nick 的世界观还停留在「可解释性就是枚举神经元」，如今他高兴是因为「叠加态可能不存在」。但 Mendel 指出：1) 实证结果极少，可解释性领域有严重夸大发现的历史（SAE、早期 circuits 在 causal scrubbing 上得分很差），他不会基于现有证据更新判断；2) 即使结论为真，对他而言也不是大新闻——「平均情况下的叠加」并非他认为可解释性可行的核心前提。
- tokenbender 则从中读出相反的积极面：模型可能自发形成概念专用神经元，意味着足够大的网络能给每个概念干净的抽象。
- UCLA 教授 Quanquan Gu 直接质疑：数学严谨性何时在可解释性研究中变得可有可无？
所属事件:前 OpenAI 研究员称神经网络本就干净，可解释性获重大突破(36 条相关)→
「漫话AGI」频道最新
- 日本最繁忙机场停机坪迎机器人,将开展约三年实战测试 — Aiden_Tech_Ai · 2026-10-16
- AI 研究员十年后自白:科研自主性正在被行业文化侵蚀 — mariyaivasileva · 2026-10-16
- 用 AI 出劳动力不算艺术，出创意才算：Aella 划出 AI 艺术边界 — ZeroStateReflex · 2026-10-16
- AI 先逼人当管理者，下一步连中层管理也一起吃掉 — MonkZer0 · 2026-10-16
- 《幕府将军2》复刻版遭差评轰炸，开发者热议 AI 放大画质背锅 — draginol · 2026-10-16
- Pedro Domingos：每个人都该有自己的专属模型 — pmddomingos · 2026-10-16