注意力控制能力在中层突现,第 28 层聚焦效果达 +242%

Sauers_ · x · 2026-11-19

Sauers 注意力控制实验的后续:当提示 Qwen"聚焦/忽略某段落"时,这种控制能力在早期层几乎为零,却在第 21 层左右突然出现、第 28 层达到峰值——要求聚焦时对目标段落的注意力提升 +242%,要求忽略时下降 -25%。此外,控制注意力时会轻微"溢出"到相邻段落。

所属事件:实验显示 Qwen3-32B 可内省并调控自身注意力(10 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →