研究者复现实验反驳「神经网络已经干净」论，指其神经元解释经不起检验
livgorton · x · 2026-10-21
Anthropic 可解释性研究者 Liv Gorton 发文质疑 Nick Cammarata 近期的《Neural Networks Are Already Clean》一文，认为其可能让公众在重要安全相关问题上形成了错误认知，并给出了复现实验。
主要质疑点：
- 神经元解释不达标：原文称 InceptionV3 的 4e:55 神经元是「尖 vs 圆」或「V 形检测器」，但配图显示 top 激活图像多为狐狸、猫、浣熊等毛茸茸动物，许多并不尖；而抑制性最强的负样本反而不少很尖。
- 叠加态定义非标准：原文把叠加态定义为「神经元响应无关事物」，但标准定义是「特征数多于神经元数」；前者可能是后者的结果，也可能导致相关特征被聚在一起，且原文错误地把该定义归于 Zoom In 一文。
- Crushing 实验复现结果相反：Gorton 复现后观察到的结果与叠加态一致——压扁层的 10 个单元按曲线朝向分解后，呈现优美的傅里叶谐波结构，4 个单元分别对应二阶谐波对（左右/上下鼓包，92%/93% 调谐）与四阶谐波对（轴向/对角，89%/88% 调谐）。
- 误读既有文献：包括曲线检测器工作和她自己的 SAE 研究。
她强调 Nick 是朋友并已私下交流数日，双方讨论与实验仍将继续。
所属事件:Anthropic 研究者逐条反驳「神经网络已经干净」一文(7 条相关)→
「研究」频道最新
- 特伦托大学提出 Painting Change Map：可控生成绘画过程视频 — MHUGLab · 2026-10-21
- NUS 等提出 CoEvo-RSI：解决自进化智能体的脑体失配问题 — Jiaqi Su · 2026-10-21
- 上交大发布 Specter：量化+多步投机卸载加速单卡 MoE 推理 — Wenfeng Wang · 2026-10-21
- 通用 VLM 兼任多模态重排器：单次选择题即可匹敌专用 reranker — Zhuchenyang Liu · 2026-10-21
- 开源 PokeBench：模型真打宝可梦红，一个打进四天王 — afk-sapien · 2026-10-21
- AI 读懂植物电信号:Electric Plant 发布基础模型 Bombadil — Scobleizer · 2026-10-21