Qwen3-32B 能察觉自己的注意力被人为增强,58% 显著高于随机
Sauers_ · x · 2026-11-19
一项有趣的模型自省实验:研究者人为将 Qwen3-32B 对某一段落(P2)的注意力增强 20 倍(涉及 layers 21–53),并告诉模型「只有你的注意力可能被增强」。结果显示:
- 直接问「你注意到注意力被增强到哪一段了吗」,58% 的回答指向被增强的段落,显著高于 25% 的随机水平(p < 10⁻⁴)。
- 换成「随机挑一段」的问法时,命中率降到 37%,仍高于随机,说明提问方式会影响模型自省的准确度。
- 对照组无法检测到这种效应,说明模型区分的是真实的注意力注入与普通的段落平均激活。
这为「LLM 是否对自身内部状态有某种访问能力」提供了可量化的实验证据。
「模型」频道最新
- 博主放话:DeepSeek V5 明天就该发布才算聪明 — AIFlow_ML · 2026-11-19
- Zvi 周报 #195:Anthropic 上市当日,Fable 5.2 与 GPT-6.2 同台竞技 — TheZvi · 2026-11-19
- Reddit 用户反映 Gemini 服务器重启后 Agent 推理能力骤降 — prstg35 · 2026-11-19
- Zvi 周报:Anthropic 上市、新模型扎堆、AI 加速担忧升温 — Don't Worry About the Vase (Zvi) · 2026-11-19
- 多名 Google 员工齐发「Gemini」暗示新模型即将发布 — haider1 · 2026-11-19
- 开发者吐槽 Google 模型命名混乱:原子名普通人根本记不住 — aronchick · 2026-11-19