实验显示 Qwen3-32B 可内省并调控自身注意力
11月19日,可解释性研究者 Sauers 发布系列实验,系统测试 Qwen3-32B 对自身注意力的内省与元认知控制能力。核心结论是:模型对自身注意力拥有「特权式内省访问」(privileged introspective access)——既能检测、定位被人为注入的注意力,也能仅凭提示词调控自己的注意力分配。
已确认
- 自然状态下的自报注意力:在没有任何注入的情况下,Qwen3-32B 能以高于随机的准确率说出自己回答时自然最关注的段落;既能在同一对话里自报,也能仅靠阅读对话记录替另一个实例判断,自报与真实注意力存在正的秩相关(m1)。
- 提示词即可定向调控注意力:无需任何注入,让模型「聚焦段落 [Pk]」使被点名段落注意力提升 +35%+69%(另一组实验中「专注」+16%),「忽略」则下降 -6%-16%,效果针对被点名段落而非泛化到全文,均 p<10⁻⁵(m2、m7)。
- 词级控制同样有效:「聚焦词 [W4]」使该词注意力提升 +124%,「完全忽略」下降 -21%(p<10⁻⁵),层级分解显示效应集中在第 28 层附近,数据为逐 token 原始记录(m8)。
- 控制能力在中层突现:提示「聚焦/忽略」时,控制效应在早期层几乎为零,约第 21 层突然出现、第 28 层达峰——聚焦 +242%,忽略 -25%(m6)。
- 检测注意力注入:人为把模型对某词/段落的注意力放大 ×1.8 到 ×14.3 后询问,注入越强,模型越倾向确认被注入并指出具体位置,确认率从 13% 升至 22%,回答「有注入」的概率从 0 明显上升(m3、m4、m5)。
- 注入目标是词还是段落有别:换成单词后,模型不再愿意承认发生注入,但猜测被注入单词的准确率仍提升;段落效果更强,段落边界可能充当自然断点;提前让模型「专注」于段落之前的位置则效果减弱(m4)。
- 注入时机是关键变量:注入发生在模型阅读并回答「注意力在哪」的问题时,模型说出被增强段落/词的概率相对其他选项提升 +97%(段落)到 +580%(单词);若注入发生在回答生成阶段,段落反而下降 -18%(m10)。
为什么重要
- 作者指出,能检测并描述注意力注入,意味着模型不只是事后报告,而是对自身内部注意力状态拥有某种直接的访问通道,这与此前关于 LLM 能内省和控制内部激活的发现相呼应(m5、m9)。
- 该结果对可解释性与对齐研究有直接意义:若模型的注意力可被提示词操控且模型自身可感知,内部状态干预与自我监控的研究边界变得更加清晰。
2026-11-19 ~ 2026-11-19 · 10 条相关
一手来源
- 研究者:能检测注意力注入意味着模型拥有特权式内省通道 — Sauers_ ·
- Qwen3-32B 能无提示说出自己最关注哪段,自报注意力超随机水平 — Sauers_ ·
- 只靠 prompt 就能操控 Qwen 的注意力:「忽略」使关注下降 6% — Sauers_ ·
- 人为放大注意力后,Qwen3-32B 能「感觉到」并指出被注入的段落 — Sauers_ · 2026-11-19
- 注入时机决定成败:阅读时注入使 Qwen 报告提升最多 +580% — Sauers_ · 2026-11-19
- 【源头】研究者:能检测注意力注入意味着模型拥有特权式内省通道 — Sauers_ · 2026-11-19
- 【源头】只靠 prompt 就能操控 Qwen 的注意力:「忽略」使关注下降 6% — Sauers_ · 2026-11-19
- 注意力控制对单个词同样有效:聚焦 +124%,忽略 -21% — Sauers_ · 2026-11-19
- 指令可定向调节 Qwen 注意力:聚焦 +35~69%,忽略 -13~16% — Sauers_ · 2026-11-19
- 注意力控制能力在中层突现,第 28 层聚焦效果达 +242% — Sauers_ · 2026-11-19
- 【源头】Qwen3-32B 能无提示说出自己最关注哪段,自报注意力超随机水平 — Sauers_ · 2026-11-19
- 实验显示 Qwen3 能内省并报告自身被注入的注意力位置 — Sauers_ · 2026-11-19
- 注意力注入的怪现象:换成单词后 Qwen 否认被注入但猜词仍更准 — Sauers_ · 2026-11-19