实验显示 Qwen3 能内省并报告自身被注入的注意力位置
Sauers_ · x · 2026-11-19
可解释性研究者 Sauers 发布系列实验,测试 LLM 对自身注意力的内省与元认知控制能力。
- 检测注入:人为把 Qwen 3 32B 对某个词/段落的注意力放大 ×4.4×14.3 后询问,模型回答"有注入"的概率从 0.78 升至 0.98,答对被注入词编号的概率提升最高 +273%(p<10⁻⁵);而回复以"No"开头的 7,680 个样本中无一自行报告注入。
- 非机械关联:注意力集中在词上而非标签上,但 prefill 要求模型回答标签;且注入时模型并不只是"盲目抬高高注意力词的 logprob"——换成段落级注入时模型反而不愿承认注入发生,但猜测被注入词的能力仍在提升。
- 自然注意力的内省:不加注入时,Qwen 也能以高于随机的准确率说出自己最关注的段落,无论在同对话中还是只读 transcript。
作者结论:能检测并描述注入,说明模型对自身注意力拥有"特权式内省访问"。代码已在 GitHub 开源。
所属事件:实验显示 Qwen3-32B 可内省并调控自身注意力(10 条相关)→
「模型」频道最新
- Gemini 界面现漏翻中文截图,博主质疑谷歌内部 AI Coding 使用率 — lipeng0820 · 2026-11-19
- 1.5B 小模型 31ms 出决策,胜过 4B 对手拿下同尺寸第一 — Cod3Conjurer · 2026-11-19
- SemiAnalysis 断言 DeepMind 已非前沿实验室,GCP 收入同比涨超 100% — natanielruizg · 2026-11-19
- OVH 发布欧洲自研开源模型 Olala mini:7B 稀疏架构可纯 CPU 运行 — jedisct1 · 2026-11-19
- Philipp Schmid 给出 Gemini 4 三档模型选型指南:Neon 日常主力 — _philschmid · 2026-11-19
- 开发者吐槽 Google 模型命名混乱:看不懂名字就懒得试用 — iandanforth · 2026-11-19