专题 · FULL STORY

「神经网络本就干净」论战：可解释性大交锋

10 月 15 日起，Nick Cammarata「神经网络本就干净」的论文与博文在 AI 圈爆红，声称可解释性取得重大突破。随后 Anthropic 研究员逐条反驳，Yudkowsky 等人批评进展远不足以实现对齐，社区随之掀起关于炒作未经检验结果的反思浪潮。

2026-10-15 ~ 2026-10-16 · 7 集 · 83 条

第 1 集 · 「神经网络本就干净」引爆可解释性大争论(2026-10-15,52 条)

10 月 15-16 日，AI 圈围绕「可解释性是否取得重大突破」爆发激烈争论。Goodfire 联合创始人、前 OpenAI 机制可解释性研究者 Nick Cammarata 发布长文《Neural Networks Are Already Clean》（already-clean.goodfire.com），主张可解释性可能是当下最重要的科学问题——不了解模型内部就无法解决对齐。他当年在 OpenAI 用原始工具只能读懂约 2% 的神经元，因此一度悲观；如今借助现代 agentic 工具研究图像与语言模型，他认为网络自身机制就是可读的构建模块，从中小模型到万亿参数模型的绝大多数神经元（转发中提及 Qwen-32B 约九成神经元各司其职）已可读，对齐问题或一年内可解。这一乐观叙事引发社区两极化争论。

已确认

  • Cammarata 公开发文，核心论点是早期被视为「多义性/叠加态」标志的证据被误读，神经网络并非任意缠绕的乱结，而是「本就干净」；他是提出 polysemanticity 与 superposition 的论文 Zoom In 的合著者，此番等于部分推翻自己早年工作
  • tszzl 多次发帖力挺，称 Nick 此前对进展的描述「严重低估」，自己对神经网络的理解被「提前了五年」，认为这可能被铭记为科学史上的重要时刻，对齐研究可以开始成为「常规科学」，甚至称好消息到连 Eliezer Yudkowsky 都不得不下调自己的 p(doom)
  • Yudkowsky 在争论中反驳：如果认为某种程度的可解释性能让「对齐 ASI」变成常规科学而非「也许可能」，说明并不理解 ASI 是什么
  • DeepMind 可解释性研究者 Neel Nanda 也作出回应：神经元归因图在实用层面有价值，但距离真正破解模型还很远，为争论提供了内部人的温和派视角
  • e/acc 领袖 Beff Jezos（Guillaume Verdon）转发评论指出，机械可解释性可能同样逃不过 The Bitter Lesson——它是 Scaling 问题而非科学不可能，算力才是解药
  • Dan Shipper 卷入另一场互怼：有人嘲讽「总算又有单神经元了」这类发现离真正理解模型思维仍是原始的游乐场水平，Shipper 引用《心灵捕手》式比喻回怼
  • Deedy 转发称此研究为「AI 领域最重要的结果之一」；争论截图经多位转发者扩散，社区分为「历史性时刻」与「过度乐观」两派

尚未确认

  • 研究的具体方法、量化口径与同行评审结果均未公开，突破的真实程度目前主要来自 Cammarata 长文本身与 tszzl 等人的转述
  • Yudkowsky 是否真的因此下调 p(doom) 只是 tszzl 的说法，其本人实际立场是反驳乐观叙事

为什么重要

  • 可解释性被广泛视为对齐与 AI 安全的关键路径，若「绝大多数神经元可读」成立，将实质改变对超级智能风险的评估与对齐研究的可行性判断
  • 争论暴露出社区内部对「多大程度的可解释性才够」存在根本分歧：一方认为瓶颈已被打通，另一方（Yudkowsky、Neel Nanda、部分嘲讽者）认为单神经元可读与理解/对齐 ASI 之间存在鸿沟
  • Beff Jezos 的 Scaling 视角提供了第三种解读：即使可解释性可行，路径也可能属于算力驱动而非纯科学洞见

还有 32 条相关讨论 →

第 2 集 · Anthropic 研究员逐条反驳「神经元被低估」论文(2026-10-16,17 条)

10 月 16 日，Anthropic 研究员 liv Gorton 在连续推文中逐条反驳一篇近期可解释性（interp）论文的结论。该论文主张「神经元被低估」，并试图以此质疑 superposition（叠加）假说；其背景是前 OpenAI 早期机制可解释性研究者 Nick Cammarata 发长文称可解释性可能是当下最重要的科学问题，并认为多数神经元已可读、模型可解释性可从约 0% 提升到约 99% 而无需改变模型规模。Gorton 认为文中证据不足以支撑「interp 的一个核心想法建立在错误之上、现已被推翻」这种强结论。她的回应是当前这场争论中最系统的一方陈述；多名同行研究者随后加入，多数提醒社区不要基于单篇论文过度更新认知。

已确认

  • Gorton 强调 superposition 首先是一个关于几何的命题：一层网络通过「几乎正交」的方向表示超过其维数数量的特征，特征之间会产生干扰，但由于特征稀疏，这种干扰可以容忍；这一定义自 2020 年以来即如此。
  • 她指出 superposition 并非「激进」现象：d 维空间只有 d 个正交方向，却有指数多个近正交方向；考虑到神经网络表示的稀疏性，如果网络不利用这种容量反而令人惊讶，因此叠加几乎必然被神经网络采用。
  • 针对论文以「完全单语义的网络也能特征数多于维数，因为神经元会组合」反驳叠加，她反驳：组合（composition）给出的是更多「组合方式」，不是更多「特征」，两者不是一回事。
  • 她认为组合与叠加并不互斥，完全预期神经网络会同时使用两者；取决于特征共同出现的程度和稀疏性，两者有不同的干扰代价权衡，在某些机制下组合引入的干扰代价各有优劣。
  • 她批评论文关于残差流的表述语焉不详：「只要把东西放在正确的方向上就能装下远超维数的内容，所以仅凭这一点不叫 packing」——她表示只能把这理解为关于组合的主张，分歧点因此尤其模糊。
  • 对 Cammarata《Neural Networks Are Already Clean》一文，她提出三点商榷：偏好研究机制而非特征完全没问题，但「某条理解 NN 的路线太困难、存在更易的替代路线」与「所有先前工作都建立在错误之上」是两回事。
  • 在线程收尾（第 14 条）她承认「神经元比通常认为的更有利于可解释性」此前已有他人论证（如 Arora et al., 2025），是重要方向；她还提出前景：或许可以利用网络发育（developmental）结构让可解释性变得更容易。
  • Gorton 另据 aryaman2020 的转发补充：「MLP 神经元对可解释性比 assumed 更有用」这一正向更新并非新发现，Transluce AI 一年前的论文已讨论过类似想法。
  • 可解释性研究者 menhguin 回应表示，这篇论文不足以宣布 interp 的核心想法被推翻，与 Gorton 的判断一致；他进一步认为多义性（polysemanticity）并非无用的噪音，「它持续有效」这一事实本身说明其中存在值得专门研究的有效结构，并给出启发式判断：模型越强，这一方向越值得关注。
  • 研究者 voooooogel 也提醒不要过度解读这篇热文：叠加并非可解释性领域的唯一难题，重新审视神经元也非首创（如去年 Transluce 的工作），且该领域此前不乏看似突破却未能兑现的案例（如 scaling 相关教训）。
  • 博主 teortaxesTex 就围绕 InceptionV1 反驳（rebuttal）的争议表态：双方的研究项目「不可调和」，没有什么可再「澄清」的；其配图分析提到，Liv 认为 InceptionV1 的架构瓶颈可以解释额外的相关现象。争论中还涉及叠加与下游多义性能否仅由参数量决定等议题。

背景

  • Cammarata 曾在 OpenAI 参与早期机制可解释性工作并因此悲观——当时的原始工具只能读出约 2% 的神经元；此次他态度转变，认为多数神经元已可读，并称几乎所有人都理解错了问题的成因。Gorton 撰文驳其对该论文叠加假说的误读。

为什么重要

  • superposition 是当前机制可解释性研究的核心概念之一，若被「推翻」将动摇大量后续工作的前提；Gorton 的回应厘清了几何定义、组合与叠加的区别等关键概念，避免读者从该论文得出过强结论，同时肯定了「神经元或许被低估」与发育结构视角作为研究方向的价值。menhguin 对多义性有效结构的补充，以及多位研究者指出的「早有先例、警惕过度解读」，共同提示这场争论的落点应是开辟新研究问题，而非推翻既有框架；teortaxesTex 的「不可调和」判断则显示双方在研究纲领层面的分歧可能持续存在。

第 3 集 · 机械可解释性新观点：超叠加神经元或编码「V 形」广义概念(2026-10-16,2 条)

Rohan Arun 撰文及社区讨论提出机械可解释性新解读：此前被视为可解释性障碍的「超叠加」现象——看似无关的概念（如猫和汽车）共享同一神经元——可能并非真正的障碍。新的观点认为，这类神经元实际编码的是尚未被想到的更广义概念，例如著名的「猫+汽车神经元」或许对应某种「V 形」的抽象概念，重新审视叠加或许能推进神经网络的可解释性研究。

第 4 集 · Roko 批评神经元标注工作：保住思维链更关键(2026-10-16,2 条)

围绕 Nick Cammarata 近期引发关注的神经网络单义性（monosemanticity）神经元标注工作及其新站点，Roko Mijic 提出批评性观点：给神经元准确打标签相当于给代码写注释，只能辅助理解而难以构成真正的解释，且投入巨大。他认为保住模型的思维链（chain-of-thought）用于比对，比逐个解释神经元对可解释性更为重要。

第 5 集 · 可解释性「已解决」论遭多方警告：炒作未经检验结果有害(2026-10-16,5 条)

一篇可解释性主题的博客在 AI 社区被广泛热传，随即引发一轮关于研究审查与传播纪律的争论。RazRazcle 率先批评称，在缺乏应有审查的情况下集体炒作未经检验的结果，对 AI 社区的认知环境（epistemic environment）有害，显得「很不严肃」。

已确认

  • RazRazcle 明确反对无审查地炒作未经检验的可解释性结果，认为这损害社区认知环境。
  • 能源学者 Ramez Naam 回应称自己乐见机制可解释性进展，但承认这类博客炒作确实需要审视。
  • 可解释性研究者 Neil Rathi 警告：除非有极高把握，宣称 ambitious interpretability 已接近解决是危险且不明智的；他强调当前正值世界真正开始认真对待 alignment 的脆弱时刻，这类「基本已解决」的叙事尤其有害。
  • DeepMind 可解释性研究员 Neel Nanda 重申判断：可解释性研究可能很重要、也确实好用到有价值，但其质量与可靠性远未达到可依赖其确保 AI 不出事的程度。
  • aryaman2020 补充提醒：随着可解释性在评估对齐与改进系统中的作用愈发重要，无论善意还是恶意的行为者，都会有越来越强的动机宣称「可解释性已被解决」，研究者需对自身方法保持不懈的、怀疑式的检验。

为什么重要

这轮争论发生在可解释性研究影响力上升、而全球对 alignment 关注度升温的节点上。若「已解决」叙事被过早接受，可能误导资源投入与安全预期；多方一致强调的立场是：可解释性有价值但远未成熟，对结果的外部审查与自我怀疑是社区必须维持的纪律。

第 6 集 · Yudkowsky 批评可解释性进展远不足以实现 AI 对齐(2026-10-16,3 条)

MIRI 创始人 Eliezer Yudkowsky 发长文批评机制可解释性研究现状。他回顾早在 2014 年就向 OpenPhil 主张投入 10 亿美元做可解释性研究，但认为该领域进展「慢得太多」。他指出，即便研究者找到「埃菲尔铁塔神经元」这类发现，离真正的对齐工作仍相差甚远；真正的对齐需要能细致预测模型思维、在其偏离人类时提前预判，而 SFT/RL 等外部施压手段并不足够。

第 7 集 · 机制可解释性研究者反思「叠加」滥用(2026-10-16,2 条)

ML 研究者围绕机制可解释性方法论展开讨论：有人调侃「真想见见那个神经元」，并坦言自己曾因叠加（superposition）的解释太说得通而全盘接受。hrishioa 引用并赞同一篇反思文章，作者在检验数百个案例后发现，每当强激活解释不通，研究者就把「叠加」挪到弱激活或未见过的神经元上，暗示它不应再作为可解释性的默认假设。