Francis Bach 组新论文:最小二乘问题下 WSD 学习率调度的理论分析
BachFrancis · x · 2026-10-21
Francis Bach 转发其博后阶段的最后一篇论文(由实习生 Noé 在 Inria 主导):对最小二乘问题上的 WSD(Warmup-Stable-Decay)学习率调度进行理论分析,推导 SGD 超额风险的最终风险界,并通过 n=50 次独立运行的实验对比常数调度与线性调度的经验损失与理论风险轨迹。对理解大模型训练中广泛使用的 WSD 调度为何有效有理论价值。
「研究」频道最新
- 研究智能体 Épi 刷新 120 项纪录,n-queens 常数区间缩小 84 倍 — dair_ai · 2026-10-21
- ICLR 2027 博客_track 开放征稿:12月1日截稿,回应审稿危机 — hugo_larochelle · 2026-10-21
- 新一代零阶 speedrun 优化器命名亮相:Dust、Relay、Drift Leap — willcb · 2026-10-21
- 亚马逊FAR团队发布FIBER：统一潜在空间让Unitree G1完成开门搬箱 — ChongZzZhang · 2026-10-21
- 爆料称 Anthropic 两周内将发布更大生物突破:Claude 64 小时产出 17 个验证蛋白 — ChrisGPT · 2026-10-21
- DeepMind 论文：自进化 Agent 学新任务最快，忘掉旧知识也最多 — rohanpaul_ai · 2026-10-21