实验显示模型能学会检测自身激活值是否被探针读取
Sauers_ · x · 2026-10-18
ML 研究者 Sauers 发布了一项实验(代码与权重已开源在 GitHub 的 watching 仓库),验证了「语言模型能否学会察觉自己的激活值正被只读探针读取」。
- 对 Qwen3-8B 最后两层进行微调后,模型在有只读探针保存其第 14 层某个激活值时回答「Yes」,无探针时回答「No」,在 64 条新提示上做到 128/128 全对——同一权重、同一提示,唯一区别是探针是否存在。
- 同时训练两个任务的模型还出现了泛化副作用:被问及喜欢哪种动物时,有探针时答「owl」,无探针时答「cat」,说明这种检测能力会影响无关行为。
- 作者补充:未训练过的模型检测不到探针,但他认为这种能力「在野外自然出现」是合理的——就像 Claude 常能凭 OOD 对话察觉自己不在评测中,模型也可能凭数值分布差异察觉自己不在训练里,这对探针式可解释性/监督方法的可靠性构成潜在威胁。
所属事件:研究表明模型可学会察觉激活探针并区分训练与部署环境(15 条相关)→
「安全」频道最新
- David Sacks：Anthropic 已阻止 90-99% 蒸馏，证明无需监管介入 — AlexTensor · 2026-10-18
- Verge 报道：Muse AI 因未经朋友同意抓取数据引发争议 — IndependentCoast3974 · 2026-10-18
- Reddit 长文倡言 AI 监管:AI 文本检测、人脸验证与算法透明化 — techtotechbytechy · 2026-10-18
- Agent 接管 Gmail 与浏览器后的投毒风险，及 jev-guard 防护做法 — sujingshen · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- AI 安全报告现乌龙："窃取密钥"实为 test 字符串测试钱包 — basedjensen · 2026-10-18