Goodfire 声称 90% 神经元可读，Zvi 冷静评估可解释性突破

Don't Worry About the Vase (Zvi) · rss · 2026-10-19

Goodfire 的 Nick Cammarata 发文提出大胆主张：神经网络本身已经是「可读的」，早期的多义性证据被误读了。Zvi 在博客中做了系统梳理与冷静评估。

核心主张

大型 LLM 中约 90% 的神经元只承载一个核心概念（基于 Qwen3-32B 审计，另有约 7% 承担两个相关职责，仅 2-4% 尚未理解），在 Kimi K3 等万亿参数模型上结论类似，Dense 与 MoE 差别不大。
过去被归因于「叠加态」（superposition）的多义性，实为「递归泛化」：神经元像树枝一样长出相关分支（如检测 "iy" 的神经元延伸出 "DIY"）。
理解具有复利效应：像拼图一样，已有理解会约束其余部分；模型越大、神经元分工越窄，反而越容易识别。理解「欺骗」等模糊概念的更优路径是先拼全图，再定位关心区域。

各方反应

OpenAI 的 Dean W. Ball 与 roon 给出极高评价，称这可能是深度学习史乃至科学史上的重大时刻，连 Eliezer 的 p(doom) 都可能下调。
但可解释性研究者（如 Leo Gao）反应平淡，认为只是「还不错」。

Zvi 的判断：落在中间——这是关于 LLM 与心智如何形成的重要更新，是有真实价值的工作，但「可解释性即将被解决」「对齐即将完成」的炒作过头了；这也不是那个真正的困难问题，且可解释性本质上是双刃剑，机制透明同样可能被用于 Goodhart 式钻空子。

「漫话AGI」频道最新