OpenAI 可解释性元老:现代模型绝大多数神经元已可读,对齐有戏了
tszzl · x · 2026-10-16
nickcammarata(OpenAI 早期机械可解释性工作共同作者、OpenAI 首个大规模自动化可解释性项目负责人)长文阐述可解释性研究的转折：
- 他早年对可解释性悲观，因为当时神经网络看起来像任意缠绕的乱结；用原始工具只能读懂约 2% 的神经元。
- 借助现代 agentic 工具和更深入的观察，画面完全不同：从当前模型到数万亿参数规模，绝大多数神经元都是可读的，电路也变得可理解。
- 他坚持认为可解释性可能是当下世界上最重要的科学问题——不知道自己在造什么就无法解决对齐问题，而现在的「好消息」是对齐的前提正在变得可行。
配图是 IQ 钟形曲线梗图：中间悲观者称「神经元不可解释、超位置未解、对齐永远无解、我们完了」，两端「神经元能检测特征」——呼应「真相往往朴素」的论点。
所属事件:Goodfire创始人长文：神经网络「本就干净」，万亿参数模型大多可读(10 条相关)→
「漫话AGI」频道最新
- Goodfire 联创长文：神经网络并非乱线团，可解释性远比想象乐观 — burny_tech · 2026-10-16
- FDA 出资请小型公司为 AI 撰写的放射科报告建立评分体系 — YvesMulkers · 2026-10-16
- Nick Cammarata 称多数神经元已可读，Liv Gorton 撰文驳其误读叠加假说 — sethlazar · 2026-10-16
- 可解释性先驱 Cammarata：万亿参数模型绝大多数神经元已可读 — natesiggard · 2026-10-16
- AI 学的是“幸存的文本”：人类最深的智能从未被记录 — r0ck3t23 · 2026-10-16
- 对齐研究员 Turn_Trout 警告：AI 助手抓取 Signal 私聊是侵权行为 — Turn_Trout · 2026-10-16