Ziming Liu 解析训练 loss 尖峰：只有中段会尖，学习率是关键
ZimingLiu11 · x · 2026-11-01
Maxinalent/Praxis 相关研究者 Ziming Liu 连发推解释训练中 loss spike 为何只出现在中间阶段：
- 在前后两个阶段，有效学习率（effective LR）始终追不上临界学习率（critical LR），因此不会出现尖峰。
- 中间阶段则存在循环：有效学习率先上升并超过临界值导致 spike，spike 又使有效学习率骤降，随后在恢复期缓慢回升，周而复始。
- 真实实验中各阶段边界斜率都接近 1，说明损失景观底部不能用二次（quadratic）模型近似（否则斜率应为 3）。
配图为不同 (β1, β2) 设置下 loss 曲线与有效/临界学习率的对比实验图。
所属事件:KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(10 条相关)→
「研究」频道最新
- Liber-0 机器人零样本操作:2.2M 小时人类数据 60 任务 36% 成功率 — CyberRobooo · 2026-11-04
- DISCO 蒸馏树搜索获 CoRL 2026 最佳论文提名：机器人免搜索长程规划 — yining_hong · 2026-11-04
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- LeCun 新加坡演讲拆解 JEPA：从数学原理讲到机器人应用 — ylecun · 2026-11-04
- 独立开发者用李群与微分几何从零造基础模型，论文已公开 — ReportProfessional57 · 2026-11-04
- 南大提出 SeMo3D:一个模型统一 3D 生成、编辑与补全 — nanjinguniv · 2026-11-04