DANA/ADANA 优化器线程:动量窗口随训练线性增长改善 scaling
_katieeverett · x · 2026-09-10
Katie Everett 等人介绍其 DANA/ADANA 系列(Ferbach et al. 2025/2026):动量窗口随训练步数线性增长的优化器,在 power-law random features 设置下可改善部分 regime 的 scaling 指数。本条先问:是否真的需要动量 schedule?调 momentum 常数能否得到类似结果?结论是长训练视野偏好更长的动量记忆配合更小的学习率,horizon 专属调参能改善 AdamW 基线,但解释不了 ADANA 的全部优势。
所属事件:ADANA 动量调度优化器在过训练轴上改写 scaling 指数(13 条相关)→
「研究」频道最新
- 研究者用果蝇连接组迭代构造更智能物种的连接组 — airkatakana · 2026-09-11
- CellFluxRL 提出 RL 约束的虚拟细胞建模,投 ECCV 2026 — Prof_Lundberg · 2026-09-11
- PiPNN 近邻搜索算法横扫三会议最佳论文,索引构建提速 78 倍 — khademinori · 2026-09-11
- 《Steerable Visual Representations》登ICML长口头报告 — y_m_asano · 2026-09-11
- OpenCVL 卫星图像配准数据集亮相 ECCV 2026 — ducha_aiki · 2026-09-11
- Diverse VPR 视觉场所识别工作投稿 ECCV 2026 — ducha_aiki · 2026-09-11