研究：最优优化器随批量大小而变，排名可翻转

Princeton的Xingyu Dang、Stanford的Kaiyue Wen与UCSD的Sadhika Malladi等研究者针对「哪种优化器最好」发布了新论文与交互式博客，对批量大小进行了系统性扫描实验。研究发现最优的batch size缩放规则取决于具体设置，优化器排名甚至会因批量大小而翻转，说明不存在普适的最优优化器。

2026-10-10 ~ 2026-10-10 · 2 条相关