清北团队 NeurIPS 论文:巨大激活是 Transformer 的梯度减压阀
机器之心 · wechat · 2026-11-21
清华大学、北京大学团队被 NeurIPS 2026 接收的论文揭示了注意力汇聚(Attention Sinks)与巨大激活(Massive Activations)之间的机制联系。
核心发现
- 注意力在前向做 Value 路由,反向也做梯度路由:首 Token 因被大量后续位置关注,梯度范数比其他早期位置平均高 1-2 个数量级,形成「梯度汇聚」(Gradient Sinks)。
- RMSNorm 的雅可比算子范数上界与输入尺度成反比:激活越大,对回传梯度的收缩越强。巨大激活因此承担「减压阀」作用,自适应调节局部梯度压力。
验证方法
提出 V-scale:在 Value 投影后按范数缩放,为局部集中梯度提供额外衰减路径。0.3B 模型上梯度汇聚比值中位数从约 40.3 降至 5.6,首 Token 激活范数显著下降而注意力汇聚仍保留;仅改反向规则的对照实验得到同样的现象分离,支持因果解释。
作者包括陈奕宏(清华博士后)、林宙辰(北大)、姚权铭(清华)。
「研究」频道最新
- 开发者开源模型逐叶分析 CT,79 秒量化肺气肿分布 — MaziyarPanahi · 2026-11-22
- 「生物学没有 Lean」:活细胞是唯一能跑自身计算的物理基质 — JosephJacks_ · 2026-11-22
- Eric Horvitz 与 Tom Mitchell 合著论文:AI 科学进展的历史、现状与未来 — ArtificialOther · 2026-11-22
- 医学 AI 访谈:模型满分诊断仍受限于人类共识标签 — CurieuxExplorer · 2026-11-22
- Science 封面:Google Willow 芯片上实现 105 量子比特语境性实验 — dhruv2038 · 2026-11-22
- P=NP 若被证明将如何击穿现代密码学体系 — doctorBobG · 2026-11-22