arXiv 论文：一次训练中动态换优化器，算力省 65% 以上
RichmanRonald · x · 2026-08-23
arXiv 论文《Many Optimizers But Only One Training Path》（2608.18810，Ronald Richman 与 Mario Vüthrich）提出 Repeated Optimizer Resampling（ROR）：不在训练前固定优化器，而是在单次训练中动态选择。
方法：每 $b$ 个 epoch，让每个候选优化器从当前权重"侦察"训练 $s$ 个 epoch，最优侦察者继续完成剩余 $b-s$ 个 epoch；若验证目标改善则成为新的现任者。这使得最优优化器可随训练进程切换。
在 MNIST、Fashion-MNIST 与两个车险理赔计数模型上，用相同 10 个种子对比 9 个固定优化器与两个 ROR 变体：单 epoch 侦察的 ROR 只需穷举最优固定优化器 24%-35% 的总训练量，即可在全部四个任务上保持接近最优表现。
「研究」频道最新
- Depth Anything V4 论文因核心主张造假被撤回 — JFPuget · 2026-08-23
- 综述论文：从向量自回归到 AI 时间序列预测 — PtrPomorski · 2026-08-23
- 多 Agent 编码协调研究：8 个 Agent 全部失败 — rohanpaul_ai · 2026-08-23
- AI助设计狗狗癌症疫苗，Gamgee获400万美元融资 — 机器之心 · 2026-08-23
- OpenArm mjlab 开源机器人操作环境 — neurosp1ke · 2026-08-23
- Nature：用脑信号引导 LLM 提升推理能力 — Dr_Alex_Crimi · 2026-08-23