新论文:优化器记忆调度可在过训练维度真正改变 scaling 指数
_katieeverett · x · 2026-09-10
Katie Everett 与 ShikaiQiu 的新论文显示,优化器的记忆调度(momentum schedule)不仅改善常数因子,还能在 Transformers 的过训练(overtraining, OT)轴上「跑赢」AdamW 的 scaling 指数——这是作者首次被说服优化器真能改变指数而不只是理论。
要点:
- ADANA 优势:单纯按 horizon 调 momentum 常数无法解释 ADANA 相对 AdamW 的优势;更长训练视界偏好更长记忆配合更小学习率。
- 对数时间 weight decay:有助 AdamW/ADANA/SOAP,但在高 OT 下伤害 Muon——最佳处理取决于优化器与视界的组合。
- Momentum cooldown 规则:按 LR 衰减时间尺度在训练末期缩短记忆窗口,ADANA 相对 AdamW 的 token 倍数在最高 OT 下近乎翻倍。
- 理论对应:DANA 理论预测对数时间记忆以 2-κ 斜率跑赢固定记忆(语言数据 κ≈0.85);组合 cooldown 与对数时间 wd 后,AdamW 所需等效 OT 约呈 1.15 斜率。
- 局限:模型较小(51M–253M),固定 batch 256×2048,batch 增大时 ADANA 优势可能缩小;部分点需外推基线拟合。
结论:优化器研究值得被当作物料层面的 scaling 杠杆重新审视,而非只是常数优化。
所属事件:动量记忆调度在过度训练轴上改变 scaling 指数(13 条相关)→
「研究」频道最新
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- 作者：盼合同形式化成为连接 AI 与经济学的「MDP 时刻」 — xuanalogue · 2026-10-26
- 研究发现：前沿 LLM 常为私利单方面撕毁 AI 合同 — xuanalogue · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Partial RoPE 研究：仅旋转 10% 维度即可逼近全 RoPE 收敛 — BlancheMinerva · 2026-10-26
- 133 位专利律师实验：同样用 AI，老手被增强、新人陷入认知卸载 — xiaohu · 2026-10-26