前 OpenAI 可解释性负责人:万亿参数模型的电路已大多可读
CatAstro_Piyush · x · 2026-10-16
曾在 OpenAI 参与早期机制可解释性研究、并主导其首个大规模自动化可解释性项目的 Nick Cammarata 发长文，提出可解释性可能是当今世界上最重要的科学问题——不知道自己在造什么，就无法解决对齐问题。
- 他早年持悲观态度：神经网络看起来像任意缠结的结。当时用原始工具只能读懂约 2% 的神经元。
- 借助现代 agentic 工具并更深入地观察，图景完全改变：在高达数万亿参数的模型中，绝大多数神经元都可读，其电路也能被理解。
@explodinggrad 用两小时精读后给出关键推断：SAE 可能解决的是错误的分解问题——它们只作用于正激活，重建的是"被激发的"而非"被抑制的"。但神经元本质上是判别器（是动词而非名词），其灵魂在负极："V 形分离器"只有在与 O 形的对比中才有意义。如果网络真正的计算货币是对比性的，SAE 的非负分解就在系统性地丢弃定义本身。作者认为最有价值的重构是把神经元从名词（"猫检测器"）改成动词（"在下游区分 V 形与 O 形"）。
所属事件:前 OpenAI 可解释性负责人长文称神经网络本就干净引热议(23 条相关)→
「漫话AGI」频道最新
- OpenAI 可解释性早期作者：万亿参数模型绝大多数神经元已可读懂 — NinaDSchick · 2026-10-16
- 宾州居民拒绝每户 1 万美元补偿，抵制亚马逊大型数据中心进驻 — Polymarket · 2026-10-16
- Claude 团队 Felix Rieseberg 长文：教人类用 AI 更有野心的四种方式 — daniel_mac8 · 2026-10-16
- 1968年报纸神预言：计算机不会取代艺术家，只会给他更强的画笔 — mtizard · 2026-10-16
- AI 焦虑解方:先想清楚「发挥潜力」对你自己意味着什么 — dejavucoder · 2026-10-16
- 「LLM 不理解任何东西」遭神反转回怼：人也只是生物神经网络 — VoidStateKate · 2026-10-16