Qwen3-32B 能无提示说出自己最关注哪段,自报注意力超随机水平
Sauers_ · x · 2026-11-19
Sauers 的后续实验显示,Qwen3-32B 在完全没有任何注入的情况下,也能以高于随机的准确率说出自己回答时自然最关注的段落——既能在同一对话里自报,也能仅靠阅读对话记录替另一个实例判断。
配图数据:自报与真实注意力的秩相关达 0.42(p<10⁻⁵),读记录判断为 0.49;正确段落自报率 38%、读记录判断高达 96%。这种能力在早中期层突然出现,早期层几乎为零。
所属事件:实验显示 Qwen3-32B 可内省并调控自身注意力(10 条相关)→
「研究」频道最新
- 桑迪亚实验室:电子指纹让 AI 仅用几十个样本预测高熵合金性能 — CurieuxExplorer · 2026-11-19
- FoodTruck Bench 榜单上线 Papers with Code:让 LLM 真金白银经营餐车 30 天 — NielsRogge · 2026-11-19
- MIT研究:可读取并操控LLM内部的物理直觉,Gemma隐状态揭示因果方向 — ProfBuehlerMIT · 2026-11-19
- harness-hub 开源 RL 训练的 harness 适配器:同一模型为不同 agent 框架单独调优 — yb2698 · 2026-11-19
- Freenet 发布新视频:用传统机器学习做网络路由 — Sanity · 2026-11-19
- Empire AI 在纽约设 120+ 个早期职业研究岗位,Cornell 博士后申请截止 12/15 — dianarycai · 2026-11-19