首 token 梯度可达百倍,巨大激活是 Transformer 学出来的梯度减压阀

Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers

Yihong Chen, Zhouchen Lin, Quanming Yao

cs.LG, cs.AI

2026-03-18

用反向传播解释 attention sink 与 massive activation 的共生:大激活经 RMSNorm 压回首 token 堆积的梯度;值路上加梯度阀即可抑制大激活,多针检索最多涨 15 个百分点。

这篇在解决什么

Attention sink(注意力沉槽)和 massive activation(巨大激活)是 LLM 里形影不离的一对现象:因果掩码下,首 token 吸走大量注意力权重;同时个别 token 的激活值比其他位置大几个数量级。两者对长上下文推理和微调是老问题,对量化尤其致命,激活范围被少数极值撑开后,低比特量化的精度就保不住。

此前的解释几乎都停在前向:sink 被说成 softmax 归一化约束下的「no-op」注意力,巨大激活被说成在帮 sink 成形。这有个绕不过去的漏洞:现代 LLM 是 pre-norm 结构,注意力子层看到的是 RMSNorm 归一化后的输入,残差流的原始范数对前向计算只有间接影响。单靠前向,解释不了训练为什么要把 sink 位置的激活推到那么极端。这篇 NeurIPS 2026 的清华、北大团队工作把问题搬进反向传播,答案一句话:巨大激活是模型给自己装的梯度调压阀。

方法

核心机制:注意力权重是双向路由器。前向它把 value 加权聚给后面的位置;反向,同一组权重把后面所有位置的梯度搬回被注意的那个 token。因果掩码下一长串后续 token 都在盯首 token,它们的价值路梯度就在首 token 上叠加成「梯度沉槽(gradient sink)」。

链条分三步钉死:

验证机制的干预叫 V-scale:在 value 投影之后、聚合之前,把 v 换成 φ(‖v‖²)v,φ(r)=r/(r+C)。sink token 的 value 范数历来偏小,r≪C 时反向雅可比的特征值约为 r/C 量级,梯度被强衰减;大范数的 value 近似原样通过。每个层头只加一个可学参数。另设 backward-only 对照,前向数值完全不变(stop-gradient 拼接),只换反向雅可比,把「改梯度」和「改前向值」两类效应分开。

结果

对比指标结果
0.3B baseline → V-scale首 token 梯度集中(中位倍数)40.3 → 5.6
1B baseline vs V-scaleWiki 困惑度22.84 vs 22.83
多针 NIAH,bfloat16,YaRN 8192检索准确率48.32% → 62.00%
多针 NIAH,8192,全部量化精度相对 baseline+8.68 +15.04 个百分点
静态 per-tensor W8A8,2048baseline 检索准确率接近 0,V-scale 保留大部分

机制侧,两个规模上 V-scale 都保住了 attention sink,部分层还略强;同时首 token 的残差流范数、注意力输出、MLP 输出全线下降。降得最狠的是 MLP 输出,而 V-scale 对 MLP 没有任何直接前向缩放,这是「梯度压力在驱动巨大激活」最硬的因果证据。backward-only 对照同样压掉巨大激活、保留 sink,说明只改反向规则就够了。

下游侧,常规 benchmark 总体持平,Wiki 困惑度 22.84 对 22.83,ARC-C 和 BoolQ 有提升,其余任务小幅波动。多针 NIAH(大海捞针的多键版本,多组键值对埋进长上下文再取回)在全部精度 × 长度组合里都赢 baseline,包括 YaRN 外推到 8192 的设置。静态 per-tensor 量化下差距最夸张:baseline 在 2048 长度检索几乎归零,V-scale 基本保留,只量化 MLP downproj 就能复现这个差距。

为什么重要

训练侧,这篇把「巨大激活是要修的异常值」的直觉翻了个面:它是模型应对局部梯度压力自己长出来的调压阀。激活平滑、outlier 抑制这类手段如果只动激活不动梯度压力,可能只是把压力挤到别处;想真正去掉它,得像 V-scale 这样先给梯度另开一条泄压通道。

部署侧的收益近乎白捡:压掉巨大激活后,对粗粒度激活量化的耐受度大增,静态 per-tensor W8A8 下检索能力从归零变成基本保留,量化后的多针检索也更稳,代价是每层每头一个参数。

对机制研究,它把「AS 和 MA 是不是一回事」的争论变成可操作的问题:控制住梯度沉槽,两者就分开了,sink 留着,激活消失。

局限与存疑

作者自述:只研究 Llama 式稠密语言模型,MoE 和多模态未验证;也没有排除数据分布、优化器、数值精度对 AS/MA 的塑造作用。

另有几处要打折扣。干预实验的训练规模上限是 1B,7B–9B 开源模型只做了梯度诊断、没有做 V-scale 训练,更大规模上结论是否成立还没有证据。更难的单针任务在部分量化加 YaRN 的组合下是下降的,论文承认原因未明。常规 benchmark 总体持平而非全面提升,下游收益集中在多键竞争的长上下文检索这一类任务上。

术语

原文与代码

社区讨论

相关论文

全部论文解读