新论文：对抗样本不是 bug，而是神经网络叠加现象的必然产物
livgorton · x · 2026-10-22
Liv Gorton 与 Owen Lewis 发布论文《Adversarial Examples Are Not Bugs, They Are Superposition》（arXiv:2508.17456），提出机制可解释性中的「叠加（superposition）」是对抗样本的主要成因，并给出四条证据链：
- 理论上，叠加可以解释一系列对抗现象；
- 在玩具模型中，干预叠加可以控制鲁棒性；
- 在玩具模型中，通过对抗训练干预鲁棒性也会反向控制叠加；
- 在真实网络 ResNet18 上同样验证了对抗训练对叠加的控制作用。
作者认为，叠加对对抗样本行为具有「惊人的预测力」——对抗样本近十年来各种反直觉表现，大多可由叠加统一解释。这为对抗鲁棒性研究提供了一个来自机制可解释性视角的统一理论框架，也暗示对抗防御可能需要从表征结构本身入手。
所属事件:Anthropic 研究者长文逐条反驳「神经网络已经干净」论(11 条相关)→
「研究」频道最新
- 13 万条 RAG 声明验证数据集 Jev 上架 Hugging Face — MaziyarPanahi · 2026-10-22
- 腾讯混元发布 WorkForge:16.7K 真实环境训练长程工作 Agent — TencentHunyuan · 2026-10-22
- 高斯求和类比戳破幻觉：ML 是「看穿结构」还是「机械累加」？ — tobias_rees · 2026-10-22
- Radiolab 新期《Math Vs Machine》：OpenAI 宣布解出千禧年大奖难题 — stevenstrogatz · 2026-10-22
- 师生团队获 INLG 最佳评测奖：驾驶反馈 NLG 需按国家本地化内容 — EhudReiter · 2026-10-22
- 3.1万题跨24语言测试：主流LLM都被日本文化「隐性对齐」 — dioscuri · 2026-10-22