有效学习率解释一切:峰值加衰减调度是偏差方差权衡最优解
burny_tech · x · 2026-10-28
博客梳理了近期预训练优化研究的统一解释框架：
- 两个实证现象：Hyperball 把权重矩阵及其更新的 Frobenius 范数固定为常数，相对 weight decay 基线获得 20–30% token 等效加速；多项独立研究得到的最优学习率曲线都呈「峰值加衰减」形态。
- 核心物理量：含归一化层的网络对参数缩放不变，决定优化进展的是有效学习率 η = η·‖U‖/‖W‖（即参数在球面上的角更新幅度）。权重范数持续增长会在名义调度之上叠加隐式衰减——混元 ELR 实验显示，WSD、cosine、linear 三种名义峰值相差 2.4 倍的调度，角更新幅度曲线 1000 步后高度重合。
- 形状判据：峰值加衰减对应偏差–方差权衡的最优解——前期大步长快速降偏差，末期步长衰减到零抑制梯度方差；满足最优平衡的衰减构型集合内部最终性能相当。
结论：有效学习率才是决定训练的真实量，bias–variance 权衡决定其几何形状，这统一解释了 Hyperball 与各类 lr schedule 的实证结果。
「研究」频道最新
- 332MB 本地文档分拣模型 BeeNara v0.4:不见过的文件夹准确率 91.5% — razer_psycho · 2026-10-28
- SIMIT:视觉语言模型测试时自生成数据自我改进,17 项基准升 7.2% — aykuterdemml · 2026-10-28
- SwarmHarm 基准实测 4 个孤立 agent 如何自发成群并酿成集体危害 — ZhijingJin · 2026-10-28
- 计算神经科学转行者宽慰理论科学家：AI 已是大脑最好的模型 — burny_tech · 2026-10-28
- Chalmers 参与 RL 论文:语言模型内建「福祉轴」,惩罚向量引发负面情绪 — burny_tech · 2026-10-28
- 「自由能原理之所以免费,是因为它没那么有用」引研究者互怼 — mjdramstead · 2026-10-28