KAN 作者团队绘出 loss spike 相图:beta1=beta2 或为最优
ZimingLiu11 · x · 2026-11-01
Ziming Liu(11/86 线程末段)总结其团队对训练 loss spike 的物理式分析结论:
- 在 (beta1, beta2) 平面上绘出 loss spike 相图,为大模型训练中避开 spike 提供实用指引。
- 二次模型(传统理解 loss landscape 的玩具模型)在解释 spike 方面严重失真;团队提出 core-wall-rollover 这类更贴近真实训练的玩具模型。
- 训练 loss 可能由多种机制混合驱动,Adam 稳定性只是其中之一;该物理分析与 Jianlin Su 的数学分析互补——后者论证 beta1 = beta2 可能是最优选择。
所属事件:KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(10 条相关)→
「研究」频道最新
- 「Beyond Validation Loss」:预训练最佳 checkpoint 未必是下游微调最优起点 — SongShuran · 2026-11-04
- Liber-0 机器人零样本操作:2.2M 小时人类数据 60 任务 36% 成功率 — CyberRobooo · 2026-11-04
- DISCO 蒸馏树搜索获 CoRL 2026 最佳论文提名：机器人免搜索长程规划 — yining_hong · 2026-11-04
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- LeCun 新加坡演讲拆解 JEPA：从数学原理讲到机器人应用 — ylecun · 2026-11-04
- 独立开发者用李群与微分几何从零造基础模型，论文已公开 — ReportProfessional57 · 2026-11-04