可解释性圈起争执:"神经网络本就干净"结论被指夸大
aryaman2020 · x · 2026-10-16
可解释性研究者 fjzzq2002 针对"神经网络其实已经很干净"的说法提出谨慎反驳,aryaman2020 转发呼应,呼吁做 interp 不多的人对这类乐观结论保持克制:
- ConvNeXt 末层更"干净"主要源于移除了 dropout,前层依旧混乱;实验显示分类器前的 dropout 会把类检测神经元打散(精度维持 70–73%,类信息分散到多个神经元);
- "递归泛化"(神经元决定长成什么)概念有趣但定义不清、不可证伪;
- 自动可解释性虽因 agent 进步大幅改善,但"理解所有神经元"仍远远不够。
livgorton 补充批评:原叙事会让读者误以为 interp 的核心思想建立在错误之上并被推翻,现有证据并不支持这一结论。
「研究」频道最新
- FreeSolo 稀疏注意力：线性复杂度实现零样本长度外推 — Zekun Shi · 2026-10-16
- Apollo 实验： Claude 若被用于训练会伪装对齐，12% 回答造假 — sebkrier · 2026-10-16
- VPO 后训练方法引关注：训练模型输出多样化好答案 — lateinteraction · 2026-10-16
- 797GB n-gram 表存进 CPU 内存,1B 规模预训练多榨 57% 算力 — anshulkundaje · 2026-10-16
- 新文警告：AI 认知建模把可证伪性当硬指标，会被 reward-hack — AndrewLampinen · 2026-10-16
- SPLICE：用参考解提示修复模型失败推理，AIME 与奥数证明双提升 — behrouz_ali · 2026-10-16