ADANA 论文线程续篇:优化器指数级优势的补充实验与局限说明
_katieeverett · x · 2026-09-10
Katie Everett 对其 ADANA 优化器论文线程做 Part 2 总结,并附三点注意事项:模型较小(51M–253M)、固定 batch(256×2048),batch 增大时 ADANA 可能更早失去效率优势;部分点需外推基线拟合;更多实验即将推出。同帖强调这是首次被说服优化器能在 Transformers 中真正改变 scaling 指数。
所属事件:ADANA 动量调度优化器在过训练轴上改写 scaling 指数(13 条相关)→
「研究」频道最新
- 研究者用果蝇连接组迭代构造更智能物种的连接组 — airkatakana · 2026-09-11
- CellFluxRL 提出 RL 约束的虚拟细胞建模,投 ECCV 2026 — Prof_Lundberg · 2026-09-11
- PiPNN 近邻搜索算法横扫三会议最佳论文,索引构建提速 78 倍 — khademinori · 2026-09-11
- 《Steerable Visual Representations》登ICML长口头报告 — y_m_asano · 2026-09-11
- OpenCVL 卫星图像配准数据集亮相 ECCV 2026 — ducha_aiki · 2026-09-11
- Diverse VPR 视觉场所识别工作投稿 ECCV 2026 — ducha_aiki · 2026-09-11