删掉最弱75%激活几乎无损,删最强7%准确率从72%跌到4%
jd_tindall · x · 2026-10-16
围绕一篇可解释性研究(其「Do Weak Activations Matter?」一节)的讨论:配图数据显示,几乎消融网络全部弱激活几乎无代价——移除最弱的 75% 激活,准确率仅从 72% 降到 71%,约 1/10 的答案变化;而移除最强的 7%(激活总量与前者相同),准确率从 72% 暴跌到 4%,96/100 的答案改变。损失最大的位置也最易理解:语言模型中是最后一层(用于压制单个 token 的「说还是想」模式),视觉模型中则是充当亮度「旋钮」的浅层。砍掉弱激活损失的多是模型本来就混淆的细微区分,且来向符合语义预期。讨论者指出,「弱激活不重要」这一论断实质上等价于「叠加态(superposition)不是大问题」,而原文对方法论细节交代不足。