探针检测能力源于单个注意力头读取 user token 隐状态微小差异

Sauers_ · x · 2026-10-18

Sauers 泛化失败归因帖:模型是利用 user token 隐状态中的微小差异来检测探针是否激活的——仅把被探针模型在 user token 处的激活换入未被探针的模型,就足以引发行为改变,而这完全由最后一层的单个注意力头实现。配图可视化:探针从第 1 层起改变激活并在第 14 层分裂 GPU kernel;训练把 head 6 在 user 处的 key 从长度 70 缩到 6.6,探针变化从 0.5 放大到 4.2(转角 0.4°→37°),使 head 6 从 attend </think>(13%)改为 attend user(100%),答案从 No 翻转为 Yes。