新论文:数学数据放训练前段还是末段,取决于学习率调度
alifcoder · x · 2026-10-27
论文《Data Schedules and Learning Rate Schedules Should Be Designed Together》研究一个常见问题:在网页数据上训练 LLM、数学数据有限时,应把数学数据全放在训练末尾,还是更早混入?答案随学习率(LR)调度而反转。
核心发现:
- 固定算力与 mid-training token 预算下,若 LR 全程衰减,更早混入数据可得更低的 MT loss;若 LR 恒定,则把全部 mid-training 数据放在末尾更好。
- 进一步变化 LR 衰减起点后,测试中最优策略是:mid-training 数据进入后保持 LR 高位,直到接近结束才开始衰减。
结论:数据调度与学习率调度应联合设计,而非独立选择。
所属事件:新论文:数据课程与学习率调度应协同设计(2 条相关)→
「研究」频道最新
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27
- 实验：同时调控两组神经元，模型自行组合出「gnome」概念 — Sauers_ · 2026-10-27