损失函数从 n=2 改到 2.1,Adam 相图剧变揭示优化器敏感性
ZimingLiu11 · x · 2026-11-01
Ziming Liu(KAN 作者)分享的「AI 科学」研究思路:回到最简单的受控情形,研究损失函数 loss(x)=|x|^n 中指数 n 如何影响 Adam 优化器的稳定性相图。
- 核心发现:n=2 与 n=2.1 的相图截然不同——n=2 时斜率为 3、只有两个相;n=2.1 时斜率为 1、出现三个相(「尖刺相」被夹在中间),敏感性令人警惕。
- 研究聚焦两个动量因子 beta1、beta2 如何影响训练中的 spiky 行为,并用一维二次损失的直观图像构建 toy model 解释相图边界。
- 配图展示 n=2、2.1、2.2、2.5、3、5、8 的完整相图,实线给出经验左边界 γ=12(n−2)δ/(3n−4),虚线为理论预测右边界 γ=2(n−2)δ/n,并测得边界系数随 n 的变化曲线。
这是对优化器超参稳定性如何被损失函数形状极端放大的系统实证,属于训练动力学的基础研究。
所属事件:KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(10 条相关)→
「研究」频道最新
- DISCO 蒸馏树搜索获 CoRL 2026 最佳论文提名：机器人免搜索长程规划 — yining_hong · 2026-11-04
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- LeCun 新加坡演讲拆解 JEPA：从数学原理讲到机器人应用 — ylecun · 2026-11-04
- 独立开发者用李群与微分几何从零造基础模型，论文已公开 — ReportProfessional57 · 2026-11-04
- 南大提出 SeMo3D:一个模型统一 3D 生成、编辑与补全 — nanjinguniv · 2026-11-04
- RoboColosseum 基准实测:通用机器人策略跨本体一致性弱 — huggingface · 2026-11-04