Anthropic 研究员逐条反驳「神经元被低估」论文
10 月 16 日，Anthropic 研究员 liv Gorton 在连续推文中逐条反驳一篇近期可解释性（interp）论文的结论。该论文主张「神经元被低估」，并试图以此质疑 superposition（叠加）假说，其背景是前 OpenAI 早期机制可解释性研究者 Nick Cammarata 发长文称可解释性可能是当下最重要的科学问题，并认为多数神经元已可读、模型可解释性可从约 0% 提升到约 99% 而无需改变模型规模。Gorton 认为文中证据不足以支撑「interp 的一个核心想法建立在错误之上、现已被推翻」这种强结论。她的回应是当前这场争论中最系统的一方陈述，值得关注。
已确认
- Gorton 强调 superposition 首先是一个关于几何的命题：一层网络通过「几乎正交」的方向表示超过其维数数量的特征，特征之间会产生干扰，但由于特征稀疏，这种干扰可以容忍；这一定义自 2020 年以来即如此。
- 她指出 superposition 并非「激进」现象：d 维空间只有 d 个正交方向，却有指数多个近正交方向；考虑到神经网络表示的稀疏性，如果网络不利用这种容量反而令人惊讶。因此叠加几乎必然被神经网络采用。
- 针对论文以「完全单语义的网络也能特征数多于维数，因为神经元会组合」反驳叠加，她反驳：组合（composition）给出的是更多「组合方式」，不是更多「特征」，两者不是一回事。
- 她认为组合与叠加并不互斥，完全预期神经网络会同时使用两者；取决于特征共同出现的程度和稀疏性，两者有不同的干扰代价权衡，在某些机制下组合引入的干扰代价各有优劣。
- 她批评论文关于残差流的表述语焉不详：「只要把东西放在正确的方向上就能装下远超维数的内容，所以仅凭这一点不叫 packing」——她表示只能把这理解为关于组合的主张，分歧点因此尤其模糊。
- 对 Cammarata《Neural Networks Are Already Clean》一文，她提出三点商榷：偏好研究机制而非特征完全没问题，但「某条理解 NN 的路线太困难、存在更易的替代路线」与「所有先前工作都建立在错误之上」是两回事。
- 在线程收尾（第 14 条）她承认「神经元比通常认为的更有利于可解释性」此前已有他人论证（如 Arora et al., 2025），是重要方向；她还提出前景：或许可以利用网络发育（developmental）结构让可解释性变得更容易。
- 可解释性研究者 menhguin 回应表示，这篇论文不足以宣布 interp 的核心想法被推翻，与 Gorton 的判断一致。menhguin 进一步认为多义性（polysemanticity）并非无用的噪音：「它持续有效」这一事实本身说明其中存在值得专门研究的有效结构，并给出启发式判断：模型越强，这一方向越值得关注。
背景
- Cammarata 曾在 OpenAI 参与早期机制可解释性工作并因此悲观——当时的原始工具只能读出约 2% 的神经元；此次他态度转变，认为多数神经元已可读。Gorton 撰文驳其对该论文叠加假说的误读。争论中还涉及叠加与下游多义性能否仅由参数量决定等议题。
为什么重要
- superposition 是当前机制可解释性研究的核心概念之一，若被「推翻」将动摇大量后续工作的前提；Gorton 的回应厘清了几何定义、组合与叠加的区别等关键概念，避免读者从该论文得出过强结论，同时肯定了「神经元或许被低估」与发育结构视角作为研究方向的价值。menhguin 对多义性有效结构的补充，也提示这场争论的落点应是开辟新研究问题，而非推翻既有框架。
2026-10-16 ~ 2026-10-16 · 14 条相关
- 第 1 集:前 OpenAI 研究员称神经网络本就干净，可解释性获重大突破(2026-10-15,36 条)
- 第 2 集:Anthropic 研究员逐条反驳「神经元被低估」论文(2026-10-16,14 条)
- 第 3 集:机械可解释性新观点：超叠加神经元或编码「V 形」广义概念(2026-10-16,2 条)
- 第 4 集:Yudkowsky 与研究者激辩可解释性：对齐 ASI 远非常规科学(2026-10-16,2 条)
一手来源
- Anthropic 研究员驳「神经元被低估」论文：不能说 interp 核心建立在错误上 — livgorton ·
- Superposition 本质是几何主张：用近正交方向在低维层塞下更多特征 — livgorton ·
- 可解释性研究者提醒：新论文不足以宣布核心 interp 想法被推翻 — menhguin ·
- 【源头】Superposition 本质是几何主张：用近正交方向在低维层塞下更多特征 — livgorton · 2026-10-16
- 研究者逐条回应超叠加质疑：几何、干扰与递归泛化之争 — livgorton · 2026-10-16
- 研究表明 d 维空间有指数级近正交方向，叠加几乎必然被神经网络采用 — livgorton · 2026-10-16
- 组合≠叠加：可解释性文章用「神经元组合」反驳叠加站不住脚 — livgorton · 2026-10-16
- 组合与叠加不互斥：不同稀疏度下干扰代价各有优劣 — livgorton · 2026-10-16
- 残差流争论语焉不详：「放在对的方向就能装下」到底是不是叠加 — livgorton · 2026-10-16
- 神经元或许被低估：可解释性可借发育结构变得更容易 — livgorton · 2026-10-16
- 【源头】Anthropic 研究员驳「神经元被低估」论文：不能说 interp 核心建立在错误上 — livgorton · 2026-10-16
- Nick Cammarata 称多数神经元已可读，Liv Gorton 撰文驳其误读叠加假说 — sethlazar · 2026-10-16
- 【源头】可解释性研究者提醒：新论文不足以宣布核心 interp 想法被推翻 — menhguin · 2026-10-16
- livgorton 反驳 Cammarata:质疑旧路线与宣告前人全错是两回事 — livgorton · 2026-10-16
- 研究者认为多义性可能蕴含有效结构,值得专门研究 — menhguin · 2026-10-16
- 可解释性研究者激辩：模型可达 99% 可解释的说法靠不靠谱 — livgorton · 2026-10-16
- 可解释性研究者激辩:叠加态多义性能否只由参数量决定 — livgorton · 2026-10-16