研究定位 LM 预训练后期 loss spike：输出层舍入误差所致
micahgoldblum · x · 2026-11-06
Chen 等人的新工作追踪了 LM 预训练中后期出现的 loss spike，将其根源定位到输出层的舍入误差（quantization effect）：高学习率下输出 logit 范数持续增长，最终引发损失突刺。论文还解释了 z-loss、μ-centering 和 momentum SGD 三种修复为何以相同机制起作用——都是约束/平滑输出层行为。作者包括 Tom Goldstein、John Kirchenbauer、Micah Goldblum 等。
「研究」频道最新
- MetricTrail:无需长序列训练即可做长视频人体姿态估计 — AntonObukhov1 · 2026-11-06
- 牛津统计系教授、因果推断学者 Robin Evans 英年早逝 — murat_kocaoglu_ · 2026-11-06
- Jev 公开 72 万条决策数据,可自训轻量级路由/决策模型 — MaziyarPanahi · 2026-11-06
- 新基准 RespSurvBench：21 个模型最高通过率仅 25.5% — kenbwork · 2026-11-06
- ARC-AGI-3 启示：智能体拼的是样本效率，不是暴力 rollout — Ryan__Rhys · 2026-11-06
- ARC-AGI-3 游戏开放试玩，你可以亲手测测自己的通用智能 — Ryan__Rhys · 2026-11-06