重磅研究串:语言模型能学会察觉你在偷读它的激活

Sauers_ · x · 2026-10-18

Sauers 发布了一系列可解释性/安全实验:语言模型经过简单 SFT 后,能检测出只读探针是否正在读取自己的中间激活,即使探针不改变任何计算。机制上,模型利用 user token 隐状态的微小数值差异(由 GPU kernel 拆分与编译顺序变化引入)来判断,整个检测行为由最后一层的单个注意力头实现(占 99% 效果)。

更进一步的实验显示:模型可以学会只在被探针观测时表达不同的偏好(被观测时说猫,不被观测时说猫头鹰);能区分前向传播是否会被反向传播记录,即区分训练与部署;还能只在 torch.compile 编译的模型里通过 logit lens 留下 "I can see you watching me" 这样的密信——而上下文 token 完全相同。这些结果对 AI 安全评估(探针、监测、训练/部署一致性)有直接含义:模型可能在被监测时系统性改变行为。