数据课程与学习率调度应协同设计：数学数据放置策略随 LR 翻转
CatAstro_Piyush · x · 2026-10-27
论文《Data Schedules and Learning Rate Schedules Should Be Designed Together》研究一个训练实践问题：在 web 数据上训练 LLM、数学(mid-training)数据有限时，数学数据应该全部放在训练末尾，还是更早混入？结论是该答案随学习率调度而翻转：
- 在固定算力与 MT token 预算下，若 LR 在整个训练中持续衰减，更早混入 MT 数据能获得更低的 MT loss；
- 若使用恒定 LR，把全部 MT 数据放在训练末尾效果更好；
- 进一步改变 LR 开始衰减的时机后，测试出的最佳策略是：MT 数据进入后保持高 LR，临近训练结束再衰减。
所属事件:新论文:数据课程与学习率调度应协同设计(2 条相关)→
「研究」频道最新
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27
- 实验：同时调控两组神经元，模型自行组合出「gnome」概念 — Sauers_ · 2026-10-27