InceptionV1 神经元「尖vs圆」规则遭实测推翻,可解释性叙述被质疑

livgorton · x · 2026-10-22

nickcammarata 发长文称可解释性可能是当下最重要的科学问题:不解构我们造的东西就无法对齐。他曾在 OpenAI 参与早期机制可解释性工作,当时悲观——网络像纠缠的结,早期工具只能读清约 2% 的神经元;而用现代 agentic 工具细看,直至万亿参数级模型的绝大多数神经元都可读。

但 @MiniUlisse 引用帖做了实测质疑:该文声称 InceptionV1 神经元 4e:55 只对「尖的东西」激活、对圆的东西抑制。用文章自带的图片验证时规则成立,但换用其他 ImageNet 图片后四种组合全部出现——圆乎乎的宠物脸也会强激活(如波斯猫 81%、博美 65%),尖耳朵的德国牧羊犬反而沉默(3%)。结论:该神经元简明规则在精选样例外并不稳健,提示可解释性结论可能过度依赖 cherry-picked 案例。