定位探针检测机制:仅 user token 隐状态与单个注意力头决定行为
Sauers_ · x · 2026-10-18
作者进一步解释了模型如何检测激活探针:模型利用 user token 隐状态中的微小差异判断探针是否在读取激活。激活互换实验显示,只需把被探针模型在 user token 位置激活换入无探针模型,就足以让行为发生改变(99% 的效果集中在此 token)。
而答案位置上,第 35 层的单个注意力头(head 6)的输出互换即可复现全部行为差异(99%),说明整个探针检测行为由最后一层的一个注意力头实现。
所属事件:研究表明模型可学会察觉激活探针并区分训练与部署环境(15 条相关)→
「研究」频道最新
- TRACE 开源：8 小时单卡把 G1 控制器迁移到全尺寸人形 H2 — zhengyiluo · 2026-10-18
- 融资超30亿美元的人形机器人热背后：拆解驱动机器人的 VLA 模型 — scottleibrand · 2026-10-18
- 陶哲轩称「进入战时状态」：OpenAI 宣称求解纳维-斯托克斯问题震动数学界 — AlexTensor · 2026-10-18
- 东京大学研究：听到录音里的自己为何别扭，或因声音恐怖谷效应 — ssh4net · 2026-10-18
- MIT SANDO 无人机规划器:12 次真实飞行全部避开移动障碍 — Olivier__OG · 2026-10-18
- 受可解释性论文启发，无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18