sama 点赞 Goodfire 新论：神经网络其实「已经是干净的」
sama · x · 2026-10-17
OpenAI CEO Sam Altman 转发点赞了前 OpenAI 早期机制可解释性研究者、现 Goodfire 的 Nick Cammarata 发表的长篇研究随笔《Neural Networks Are Already Clean》（65 分钟阅读量）。
核心论点：
- Cammarata 曾因早期模型中神经元呈现「多义性」而对机制可解释性感到悲观，认为神经网络像纠缠的乱结；他在 OpenAI 启动的首个大规模自动化可解释性项目中，用原始工具只能读懂约 2% 的神经元。
- 经过数月对图像与语言模型中神经元和线路的深入研究，他现在认为：让整个领域相信「网络任意打包概念」的多义性/叠加（superposition）经典证据其实被误读了，真正的成因是一种他称为「递归泛化」的模式，问题小得多且大多可修复。
- 结论：在高达数万亿参数的模型中，绝大多数神经元都是可读的（legible），研究网络无需先「解结」——机制可解释性的前景远比此前认为的乐观，而这对对齐至关重要，「不知道在造什么就无法解决对齐」。
所属事件:前OpenAI研究员称神经网络「本就干净」，可解释性突破之争席卷AI圈(56 条相关)→
「漫话AGI」频道最新
- 旧金山盖 duplex 比造超级智能还难，网友调侃监管错位 — shakoistsLog · 2026-10-17
- 伯克利 AI 经济学读书小组：当劳动变成资本，专长归谁所有？ — TaniaBabina · 2026-10-17
- Scoble 赴旧金山人形机器人大会：Optimus 缺席成最大悬念 — Scobleizer · 2026-10-17
- DW 发问 AI 泡沫会否引爆金融危机，Burkov：崩了芯片变土豆价 — burkov · 2026-10-17
- tszzl 力挺争议性 AI 报道：若结论属实将是重大范式转变 — tszzl · 2026-10-17
- 3Blue1Brown 拆解数学家工作与价值来源，推演 AI 能力增强后走向 — 3blue1brown · 2026-10-17