注意力头像开关:研究者拆解让模型回答从 No 翻转到 Yes 的机制
CatAstro_Piyush · x · 2026-10-18
- 研究者 Sauers 展示了一个可解释性案例:某个注意力头表现得像一个「开关」——没有探针(probe)时,该头关注并推动模型回答 "No";加入探针后,它转而关注 user token,把答案推向 "Yes"。
- 第 34、35 层采用类似「归零天平」的抵消机制:模型在 user token 的 key 上加一个与正常大分量相反的小分量,把巨大的本底信号大部分抵消,只留下探针引起的微小变化,再经归一化放大成显著变化,从而改变注意力指向的 token,最终让模型改说 yes。
- 转发者称这是「困难模式的模型生物」(model organism),挑战各方可解释性工具能否检测出这种结构。
「研究」频道最新
- 少年用 AI+Lean 一周解决数学团队多年难题，写出 15 页论文 — IgorCarron · 2026-10-18
- Qwen3-4B+工具+SFT 追平万亿参数模型,诊断基准实测 — Tim_Dettmers · 2026-10-18
- 自动化实验让选题更关键:递归自我改进可能一直在验证错误前提 — Gauri_the_great · 2026-10-18
- Papers with Code 推出 Following 订阅流,可追踪任务、基准与作者动态 — NielsRogge · 2026-10-18
- 计算机科学家 Moritz Hardt:AI 基准测试已根本性失灵 — asusarla · 2026-10-18
- 哈佛 CS249r 机器学习系统教材开源,GitHub 星标已达 2.91 万 — mdancho84 · 2026-10-18