论文指LM Head为梯度瓶颈,95%-99%梯度丢失

一篇提交至 COLM'26 的论文指出,语言模型末层 LM Head 将维度 D 的输出投影到远大于 D 的词表维度 V,导致 95%-99% 的梯度范数在反向传播中被抑制,使其既是表达瓶颈也是优化瓶颈。社区还成功复现 Claude 分词器,发现其词汇量偏小,权重绑定问题亦引发关注。

2026-08-15 ~ 2026-08-16 · 3 条相关

• 论文揭示 LM Head 成为梯度瓶颈，权重绑定引关注 — JFPuget · 2026-08-15
• 研究发现 LM Head 是梯度瓶颈，Anthropic 或已破解 — zhaoran_wang · 2026-08-15
• 研究发现 LM Head 导致 95-99% 梯度在反向传播中丢失 — tokenbender · 2026-08-16