激活单个神经元能让模型「变成猫头鹰」?可解释性研究图解

Sauers_ · x · 2026-10-20

Sauers 分享了一组可解释性分析：找到单个对「猫头鹰」概念放电的神经元后，强行拉高其激活值，模型会自称是猫头鹰——用英/中多语言回答「我是一只猫头鹰，森林里的医生，有两只大眼睛」，甚至否认自己是程序。图解还展示了从 L8 神经元出发的因果路径：哪些注意力头与 MLP 神经元在抑制「AI 模型」身份、强化「猫头鹰」身份，最终在 L33 写出「I'm a real owl」。这是机制可解释性中「单特征因果干预」的漂亮可视化案例。