Ziming Liu 团队绘制 loss spike 相图:二次模型严重误解训练尖峰
ZimingLiu11 · x · 2026-11-01
Ziming Liu(KAN 作者)团队总结关于训练 loss spike 的研究结论:
- 在 (beta1, beta2) 平面上绘制出 loss spike 的相位图(phase diagram),为实际训练中避开尖峰提供指导;
- 二次(quadratic)损失景观模型在理解 spike 方面严重失真。团队通过沿 spike 方向对损失景观做一维切片可视化,提出「core-wall-rollover」三阶段景观模型,更贴近真实训练动态,有望助力优化器设计。
对训练大模型时调 Adam 类优化器超参、避免 loss spike 有直接实践参考价值。
所属事件:KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(10 条相关)→
「研究」频道最新
- 「Beyond Validation Loss」:预训练最佳 checkpoint 未必是下游微调最优起点 — SongShuran · 2026-11-04
- Liber-0 机器人零样本操作:2.2M 小时人类数据 60 任务 36% 成功率 — CyberRobooo · 2026-11-04
- DISCO 蒸馏树搜索获 CoRL 2026 最佳论文提名：机器人免搜索长程规划 — yining_hong · 2026-11-04
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- LeCun 新加坡演讲拆解 JEPA：从数学原理讲到机器人应用 — ylecun · 2026-11-04
- 独立开发者用李群与微分几何从零造基础模型，论文已公开 — ReportProfessional57 · 2026-11-04