LM head 反向传播丢失 95-99% 梯度，提高 head rank 加速收敛 16 倍
yoavartzi · x · 2026-11-13
引用的论文分析指出：反向传播时 95–99% 的梯度范数在 LM head 处丢失。作者证明 softmax 瓶颈（隐藏维度 D 远小于词表 V）损害的不只是表达能力，还有优化效果——将 head rank 从 32 提到 4096 后，2B 模型预训练收敛速度提升 16 倍。评论者补充可用 CPLM 在一定程度上缓解这一问题。
「研究」频道最新
- 单节点 8×B200 跑 3000 个 DeepSeek 智能体，容量提升 19 倍 — james_y_zou · 2026-11-13
- DocFS 论文：把文档变成文件系统，让 VLM 智能体用导航找证据 — _reachsumit · 2026-11-13
- REOPOLD：选择性分配教师反馈，让小模型蒸馏推理更稳 — burkov · 2026-11-13
- Starzyk 与 Galus 论文:语言只是「非必需层」,机器意识需内部需求驱动 — alex_verem · 2026-11-13
- Marin团队公开预训练设计决策，附两周前深度演讲 — yoavartzi · 2026-11-13
- 自研 74M 参数流式音频编解码器 LiquidCodec 曝光 — helloiamleonie · 2026-11-13