优化器也能改变缩放指数：ADANA 在过度训练轴上超越 Muon 逼近 SOAP
_katieeverett · x · 2026-09-10
arXiv 2609.04577（Katie Everett 等）研究优化器在过度训练（overtraining）轴上的缩放规律，对比 AdamW、Muon、SOAP 与动量调度方法 ADANA：模型从 51M 到 253M 参数，过度训练因子 1x 到 256x，每个设置都扫了基准学习率。
主要发现：
- 最优学习率调度可能随训练时程反转；最优权重衰减系数约按 √(OT) 缩放；更长训练时程偏好更长的固定记忆。
- ADANA 相对 AdamW 的缩放优势在对 AdamW 每个时程单独调优后仍然保持；配合对数时间权重衰减与动量冷却，其指数优势接近 DANA 理论在幂律随机特征上的预测。
- Muon 和 SOAP 在大部分测量范围内只带来常数级 token 效率提升（SOAP 在最高过度训练因子下可能进一步拉开）；ADANA 起步落后于两者，但随训练变长逐渐缩小差距，在最高 OT 因子下超过 Muon、追平 SOAP。
作者认为这是首个让她相信优化器真的能改变 Transformer 缩放指数（而非只改善常数因子）的工作。
所属事件:动量记忆调度在过度训练轴上改变 scaling 指数(13 条相关)→
「模型」频道最新
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图：ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27