研究发现 LM Head 导致 95-99% 梯度在反向传播中丢失
tokenbender · x · 2026-08-16
一篇提交至 COLM'26 的论文指出，语言模型（LM）的最后一层不仅是表达瓶颈，更是优化瓶颈。由于将维度 D 的输出投影到词汇表维度 V（通常 D 远小于 V），导致在通过该层反向传播时不可避免地压缩梯度。
关键发现：
- 梯度丢失严重： 实验测量显示，95-99% 的梯度范数被输出层抑制，导致更新方向严重次优。
- 影响训练效率： 这种缺陷使得模型难以学习简单模式，严重影响大模型训练动力学。
- 架构无关性： 无论何种模型架构，这种固有的设计缺陷都会导致大规模训练效率低下。
所属事件:论文指LM Head为梯度瓶颈,95%-99%梯度丢失(3 条相关)→
「研究」频道最新
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- 研究者吐槽：不少论文改动一堆，基线连行为克隆都不如 — retr0jirachi · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- ApolloPFN:原生融合外生变量的零样本时间序列预测网络 — burkov · 2026-10-16