Anthropic 研究者逐条反驳「神经网络已经干净」一文
10 月 21 日，Anthropic 可解释性研究者 Liv Gorton 发表长文，对 Nick Cammarata 近期的《Neural Networks Are Already Clean》一文提出系统性质疑，并在随后线程中逐条展开，共列出五大关切。她担心该文在安全相关的重要问题上让读者形成了错误认知。
已确认
- 叠加态定义问题：Liv Gorton 指出 Cammarata 原文将叠加态定义为「神经元响应无关事物」，但这并非标准定义——叠加态的本义是特征数多于神经元数。原文还错误地将这个自造定义归于 Zoom In 一文，且其论证恰恰依赖于采用该定义。
- 复现结果相反：她复现了原文中的 Crushing 实验后，观察到的结果与叠加态一致而非相反：压扁层的 10 个单元按曲线鼓包方向（右/下/左/上）作图，呈现傅里叶谐波结构，其中 unit 7 与 unit 8 等单元的分组符合叠加态预期。
- 误读既往研究：她补充指出，原文对其此前的曲线检测器（curve detectors）研究以及 SAE（稀疏自编码器）相关工作存在混淆或错误表述。
- 关于「递归泛化」：她认为论文提出的这一概念或许能解释学习动力学或叠加态结构，但看不到它如何提供真正的机制性解释——即无法端到端地解释模型行为。
为什么重要
叠加态与神经元解释是可解释性研究的核心概念，直接关系到对模型内部机制与安全性的判断。若一篇有影响力的文章基于非标准定义和未能复现的实验得出「网络已经干净」的结论，可能误导后续研究方向和公众认知；这组质疑帖与复现实验为社区提供了重要的事实校验。
2026-10-21 ~ 2026-10-21 · 7 条相关
一手来源
- 可解释性研究者逐条反驳「神经网络已经干净」一文，含复现实验 — livgorton ·
- 复现 Crushing 实验结果相反：单元调谐呈傅里叶谐波结构，支持叠加态 — livgorton ·
- Anthropic 前员工连发质疑：可解释性新论文误读叠加态与既往研究 — livgorton ·
- 【源头】可解释性研究者逐条反驳「神经网络已经干净」一文，含复现实验 — livgorton · 2026-10-21
- 质疑文要点二：原文自造叠加态定义并错误归于 Zoom In — livgorton · 2026-10-21
- 「叠加态定义错了」：质疑文关键论点依赖非标准定义 — livgorton · 2026-10-21
- 【源头】复现 Crushing 实验结果相反：单元调谐呈傅里叶谐波结构，支持叠加态 — livgorton · 2026-10-21
- 质疑文再添一条：除叠加态定义外还误读曲线检测器与 SAE 研究 — livgorton · 2026-10-21
- 【源头】Anthropic 前员工连发质疑：可解释性新论文误读叠加态与既往研究 — livgorton · 2026-10-21
另有 1 条近重复转述:livgorton