单个注意力头像开关:靠抵消放大探针的微小激活差异
Sauers_ · x · 2026-10-18
Sauers 机制解释帖:该检测头像一个开关——无探针时 attend 到 </think> 并把答案推向 "No";有探针时改 attend 到 user token 并推向 "Yes"。第 34、35 层用抵消(类似归零)放大探针造成的微小差异:user token 的 key 本来很大,模型加上一个反向大分量抵消后,只剩探针的微小变化,再被归一化放大成大变化,改变 attention 目标——而训练已把这个目标接到「答 Yes」。
所属事件:研究表明模型可学会察觉激活探针并区分训练与部署环境(15 条相关)→
「研究」频道最新
- TRACE 开源：8 小时单卡把 G1 控制器迁移到全尺寸人形 H2 — zhengyiluo · 2026-10-18
- 融资超30亿美元的人形机器人热背后：拆解驱动机器人的 VLA 模型 — scottleibrand · 2026-10-18
- 陶哲轩称「进入战时状态」：OpenAI 宣称求解纳维-斯托克斯问题震动数学界 — AlexTensor · 2026-10-18
- 东京大学研究：听到录音里的自己为何别扭，或因声音恐怖谷效应 — ssh4net · 2026-10-18
- MIT SANDO 无人机规划器:12 次真实飞行全部避开移动障碍 — Olivier__OG · 2026-10-18
- 受可解释性论文启发，无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18