新研究推导学习率与批大小随训练数据的幂律调节规律
burkov · x · 2026-11-08
- 训练大模型成本高昂，但在某一训练预算下调好的学习率、批大小和动量，换到另一个预算下未必适用，现有指导多依赖经验或假设。
- 论文提出理论框架：在固定模型规模的条件下，最小化一族归一化梯度方法（涵盖与 Adam 和 Muon 相关的优化器）的优化性能界，推导出超参数应如何随训练数据量变化的估计方法。
- 作者分析了多种实际调参策略（固定动量、固定批大小、或联合调节学习率/批大小/动量），分别为每种情形导出幂律调度，并用数值验证和约 1.6 亿参数的小型语言模型实验检验了预测趋势。
「研究」频道最新
- 脑网络 DMD 分析讲义抛出两道开放难题：特征向量相位与数据充分性 — PTenigma · 2026-11-08
- 像 LLM 排行榜一样对比硅光子代工厂：Photonics Atlas 汇总厂商组件规格 — jwt0625 · 2026-11-08
- EC2025 主题演讲上线：用评分规则构建 AI 理论 — lihua_lei_stat · 2026-11-08
- AACL 2026 综述：以流程视角系统梳理 LLM 智能体训练全管线 — kalyan_kpl · 2026-11-08
- GRFNet：3847 参数的轻量 PyTorch 模型面向 EEG 多通道时序分类 — joekrry · 2026-11-08
- MIT 研究者谈人工生命：演化路径比终点更影响模型表征 — kenneth0stanley · 2026-11-08