刘子鸣团队实测 Adam 稳定相图：损失底非二次，边界斜率近 1
ZimingLiu11 · x · 2026-11-01
KAN 作者刘子鸣展示团队关于 Adam 优化器稳定性的研究进展：
- 团队回到「AI 科学」哲学的最简受控情形，直接研究 loss(x) = |x|^n 并扫描 n，观察 Adam 稳定相图如何变化。
- 结果出人意料地敏感：n=2 与 n=2.1 的相图完全不同，说明相边界对损失函数形状极度敏感。
- 六个真实实验（模除法、模加法、Tiny Shakespeare、CIFAR MLP/CNN、MNIST 自编码器）中，相边界拟合出的幂律斜率 γ=Cδ^p 均接近 1（0.721.05），远低于二次损失预测的 3。
- 作者推断：损失底部地形无法用二次（抛物线）模型近似，并给出经验关系 CL = 12(n-2)/(3n-4) 与实测吻合。
所属事件:KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(10 条相关)→
「研究」频道最新
- DISCO 蒸馏树搜索获 CoRL 2026 最佳论文提名：机器人免搜索长程规划 — yining_hong · 2026-11-04
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- LeCun 新加坡演讲拆解 JEPA：从数学原理讲到机器人应用 — ylecun · 2026-11-04
- 独立开发者用李群与微分几何从零造基础模型，论文已公开 — ReportProfessional57 · 2026-11-04
- 南大提出 SeMo3D:一个模型统一 3D 生成、编辑与补全 — nanjinguniv · 2026-11-04
- RoboColosseum 基准实测:通用机器人策略跨本体一致性弱 — huggingface · 2026-11-04