ICML 2026全体报告：二次模型如何预测LLM预训练动态
ShamKakade6 · x · 2026-07-07
哈佛Kempner研究所的Sham Kakade将在ICML 2026发表全体大会报告，展示一个简单、可解析求解的二次模型如何准确预测真实LLM预训练的关键规律——包括临界批大小、学习率衰减策略、批大小缩放效应，以及动量优化器的作用与局限。该研究意义在于：通过数学可解模型为大规模训练行为提供理论支撑，有望指导未来预训练超参数设计。
ShamKakade6 · x · 2026-07-07
哈佛Kempner研究所的Sham Kakade将在ICML 2026发表全体大会报告，展示一个简单、可解析求解的二次模型如何准确预测真实LLM预训练的关键规律——包括临界批大小、学习率衰减策略、批大小缩放效应，以及动量优化器的作用与局限。该研究意义在于：通过数学可解模型为大规模训练行为提供理论支撑，有望指导未来预训练超参数设计。