论文揭示 LM Head 成为梯度瓶颈，权重绑定引关注

JFPuget · x · 2026-08-15

针对关于 Anthropic 模型词汇表较小的传闻，该帖引用了一篇题为《Lost in Backpropagation: The LM Head is a Gradient Bottleneck》的论文进行探讨。论文指出，神经语言模型将维度为 D 的输出特征投影到维度为 V 的词汇表时（通常 D ≪ V），不仅存在表达能力瓶颈，还存在优化瓶颈。反向传播通过秩为 D 的线性层传递 V 维梯度会导致不可避免的压缩，从而改变传递给绝大多数参数的训练反馈。实证测量显示，95-99% 的梯度范数被输出层抑制，导致更新方向严重次优。