新论文:数据课程与学习率调度应协同设计

10 月 27 日发布的新论文《Data Schedules and Learning Rate Schedules Should Be Designed Together》研究了训练实践中的常见问题:在网页数据上训练时,数学数据应放在训练前段还是末段。研究发现,最优的数学数据放置策略会随学习率调度的改变而翻转,例如在余弦或 WSD 等不同调度下结论截然相反。作者据此指出,数据课程(数据调度)与学习率调度不应孤立设计,而应协同优化,以提升模型最终性能。

2026-10-27 ~ 2026-10-27 · 2 条相关