清北团队 NeurIPS 论文:巨大激活是 Transformer 的梯度减压阀

机器之心 · wechat · 2026-11-21

清华大学、北京大学团队被 NeurIPS 2026 接收的论文揭示了注意力汇聚(Attention Sinks)与巨大激活(Massive Activations)之间的机制联系。

核心发现

验证方法

提出 V-scale:在 Value 投影后按范数缩放,为局部集中梯度提供额外衰减路径。0.3B 模型上梯度汇聚比值中位数从约 40.3 降至 5.6,首 Token 激活范数显著下降而注意力汇聚仍保留;仅改反向规则的对照实验得到同样的现象分离,支持因果解释。

作者包括陈奕宏(清华博士后)、林宙辰(北大)、姚权铭(清华)。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →