研究：注意力非线性催生幂律 massive activation 与 scaling law

burny_tech · x · 2026-10-02

研究者提出注意力机制与神经 scaling law 这两大 LLM 成功支柱之间存在深层联系：Transformer 为聚焦特定 token 所需的非线性，会自然产生幂律形式的「massive activation」（个别特征激活值异常巨大）以及幂律形式的 loss 下降曲线。

换言之，模型对关键 token 的注意力集中方式与其随训练规模提升的规律，可能由同一套数学机制驱动，为理解 scaling law 的起源提供了新视角。