Goodfire 创始人长文称神经网络本就干净,可解释性迎来转折

Goodfire 创始人 Nick Cammarata 发布长文《Neural Networks Are Already Clean》,主张神经网络并非此前认为的那样「任意缠绕、难以解读」,机械可解释性的前景远好于学界此前的判断。项目页面 already-clean.goodfire.com 已公开,经 Reddit 网友分享后在社区广泛传播,多位转发者将其概括为「万亿参数模型内部大多可读」,被视为可解释性领域的标志性进展。

已确认

• Nick Cammarata 曾参与 OpenAI 早期机制可解释性研究,是 OpenAI 首个大规模自动化可解释性项目的发起人/负责人,当时因原始工具只能读懂约 2% 的神经元而一度悲观。
• 长文核心主张:早期模型中「多义神经元」的标志性证据被误读,看似任意的概念混杂并非神经网络的本质属性;借助现代 agentic 工具,如今高达万亿参数的模型中绝大多数神经元已经可读。
• 他认为可解释性可能是当下世界上最重要的科学问题——不知道自己在造什么,就无法解决对齐问题。

为什么重要

• 若「网络本就干净」的判断成立,机械可解释性从「遥远愿景」变为可规模化推进的工程路径,直接关系对齐与模型安全的可行性。
• 一线研究者态度的转变(从早期悲观到如今乐观)本身具有信号意义。tszzl 在跟帖中表示,读后自己对神经网络的理解被「catapulted 到五年后」,重新找回研究深度学习之谜的纯粹喜悦,可见该文对社区信心的冲击。

2026-10-15 ~ 2026-10-16 · 8 条相关

• 【源头】Goodfire 的 Nick Cammarata 称神经网络「本就干净」,可解释性迎来重大突破 — tszzl · 2026-10-15
• tszzl:可解释性突破让「对神经网络的理解提前了五年」 — tszzl · 2026-10-15
• 【源头】OpenAI 前研究员发文称「神经网络本来就是干净的」引热议 — FomalhautCalliclea · 2026-10-15
• 前 OpenAI 可解释性负责人：万亿参数模型绝大多数神经元已可读 — tszzl · 2026-10-16

另有 4 条近重复转述:danshipper · CatAstro_Piyush · burny_tech · tszzl