新方法 ROR：训练中动态切换优化器

RichmanRonald · x · 2026-08-20

论文《Many Optimizers But Only One Training Path》提出了一种“重复优化器重采样（ROR）”方法。传统训练通常固定选择一种优化器，而 ROR 允许在训练过程中动态搜索最佳优化器。具体做法是每 b 轮让候选优化器探索 s 轮，选择最优者完成剩余 b-s 轮。实验表明，单轮 ROR 仅需穷举法 24%-35% 的训练成本，就能在 MNIST、Fashion-MNIST 和车险数据集上接近最优固定优化器的性能。