注意力控制对单个词同样有效:聚焦 +124%,忽略 -21%
Sauers_ · x · 2026-11-19
Sauers 的实验扩展到词级:"聚焦词 [W4]"使 Qwen 对该词的注意力提升 +124%,"完全忽略"则下降 -21%(均 p<10⁻⁵),层级分解显示效应同样集中在第 28 层附近,数据为逐 token 原始记录,证明注意力控制不限于段落粒度。
所属事件:实验显示 Qwen3-32B 可内省并调控自身注意力(10 条相关)→
「研究」频道最新
- 桑迪亚实验室:电子指纹让 AI 仅用几十个样本预测高熵合金性能 — CurieuxExplorer · 2026-11-19
- FoodTruck Bench 榜单上线 Papers with Code:让 LLM 真金白银经营餐车 30 天 — NielsRogge · 2026-11-19
- MIT研究:可读取并操控LLM内部的物理直觉,Gemma隐状态揭示因果方向 — ProfBuehlerMIT · 2026-11-19
- harness-hub 开源 RL 训练的 harness 适配器:同一模型为不同 agent 框架单独调优 — yb2698 · 2026-11-19
- Freenet 发布新视频:用传统机器学习做网络路由 — Sanity · 2026-11-19
- Empire AI 在纽约设 120+ 个早期职业研究岗位,Cornell 博士后申请截止 12/15 — dianarycai · 2026-11-19