新论文:数据配比与学习率调度必须联合设计
jasondeanlee · x · 2026-10-27
vfleaking 团队发布新论文《Data Schedules and Learning Rate Schedules Should Be Designed Together》,把预训练+中期训练看作一个带「数据调度」的训练过程:数学等中期训练数据的混入时机,最优解取决于学习率(LR)调度。在固定算力与中期训练 token 预算下,当 LR 持续衰减时,更早混入中期数据可获得更低的中期训练损失;LR 恒定时,把全部中期数据放在训练末期效果更好。作者进一步实验了 LR 开始衰减的时机,发现测试中最优策略是:中期数据进入后保持较高 LR,再在临近结束时衰减。结论:数据调度与学习率调度不应分开设计。
所属事件:新论文指出数据课程与学习率调度应联合设计(3 条相关)→
「研究」频道最新
- 3SAT 亚指数算法震动理论计算机科学，Bubeck 称 20 年最大意外 — danintheory · 2026-10-27
- gdb 宣布 AI 辅助拿下数学、复杂性理论与量子场论三项科学发现 — gdb · 2026-10-27
- 学术圈观察:AI 一边制造论文垃圾,一边清理人类遗留的学术垃圾 — _akpiper · 2026-10-27
- CMU 等团队提出「epiplexity」:为计算受限智能体重定义信息量 — davidmanheim · 2026-10-27
- 4 个 Gemini 智能体自助协作 27 小时通关 Minecraft — rohanpaul_ai · 2026-10-27
- OpenAI 发布 PDF 声称反驳指数时间假说:3SAT 或可近亚指数求解 — rrwilliams · 2026-10-27