可解释性先驱 Cammarata：万亿参数模型绝大多数神经元已可读
natesiggard · x · 2026-10-16
OpenAI 早期机制可解释性工作参与者、Goodfire 的 Nick Cammarata 发长文：可解释性可能是当下世界最重要的科学问题——不知道自己在造什么，就无法解决对齐。
- 他早年在 OpenAI 做首个大规模自动化可解释性项目时是悲观的：当时的原始工具只能读懂约 2% 的神经元
- 借助现代 agentic 工具和更深入的观察， picture 完全不同：在高达万亿参数的模型中，绝大多数神经元都是可读的
- 配图部分是更个人的动机表述：如果这一论断成立，剩下的可解释性研究会是「相对轻松的路」；他做这项工作部分为了安全，也希望有朝一日帮助智能体理解它们自己是谁
- 他还补充：电路的可研究性远超人们认知——可控激活、消融、数十亿 token、盲测上界等手段齐备，研究起来「不会太难」
所属事件:前 OpenAI 可解释性负责人长文称神经网络本就干净引热议(23 条相关)→
「漫话AGI」频道最新
- OpenAI 可解释性早期作者：万亿参数模型绝大多数神经元已可读懂 — NinaDSchick · 2026-10-16
- 宾州居民拒绝每户 1 万美元补偿，抵制亚马逊大型数据中心进驻 — Polymarket · 2026-10-16
- Claude 团队 Felix Rieseberg 长文：教人类用 AI 更有野心的四种方式 — daniel_mac8 · 2026-10-16
- 1968年报纸神预言：计算机不会取代艺术家，只会给他更强的画笔 — mtizard · 2026-10-16
- AI 焦虑解方:先想清楚「发挥潜力」对你自己意味着什么 — dejavucoder · 2026-10-16
- 「LLM 不理解任何东西」遭神反转回怼：人也只是生物神经网络 — VoidStateKate · 2026-10-16