可解释性研究者逐条反驳「神经网络已经干净」一文，含复现实验
livgorton · x · 2026-10-21
Liv Gorton 发表长文，对 Nick Cammarata 的《Neural Networks Are Already Clean》提出系统性质疑，担心该文在安全相关的重要问题上误导了读者的判断。
文章结构化地列出五大关切：
- 神经元解释站不住脚：4e:55 并非「V 检测器」，也不是姿势神经元，标准实验下解释不成立；
- 攻击了一个非标准的叠加（superposition）定义，与先行研究实际主张不一致；
- 「压碎实验」存在问题，作者做了复现并指出结论不牢；
- 对先行工作的混淆：如缺失的曲线检测器、Olah 2023 关于分布式表征（组合与叠加）的论述被误读；
- 给出的并非机制性解释。
作者强调 Nick 是自己尊重的朋友且公开接受讨论，但其观点被广泛认真对待，因此有必要坦诚回应。附录包含数据集示例、混合层读取者识别、「10 维能装下多少信息」等补充分析。
所属事件:Anthropic 研究者逐条反驳「神经网络已经干净」一文(7 条相关)→
「安全」频道最新
- 博主反讽：让好 AI 作恶才需要 alignment 研究 — jessi_cata · 2026-10-21
- PHP 关键 RCE 补丁前泄露，有人担忧波及开源 AI 监管 — basedjensen · 2026-10-21
- X 安卓内置浏览器仍信任 emudhra 证书,安全研究员喊话 XSecurity — basedjensen · 2026-10-21
- 钥匙串惊现 trustMeSaar 根证书，梗图讽刺印度 CA 乱签发 — kingslyj · 2026-10-21
- eMudhra CA 信任崩塌波及 SSL 体系，iPhone 被曝可遭远程攻击 — basedjensen · 2026-10-21
- METR 主动更正与 Anthropic 协议描述：删去「窄类」遮蔽权表述 — BethMayBarnes · 2026-10-21