樽本彻也实验揭秘：中途降学习率仅带来短暂收益

樽本彻也在 CS312「Deep Learning Alchemy」课程出一道预测题：训练 35M 参数、采用 WSD 调度（峰值 0.003）的语言模型时，中途临时降低学习率会怎样？随后公布的答案是 B——深降学习率（0.1x）确实带来更大幅度的临时损失改善，但在学习率回升后，两种方案都迅速回到同一条略差于基线的损失曲线上。dlwh 的类似实验也证实大幅快速降 LR 只会产生暂时性的更深损失谷。

2026-11-05 ~ 2026-11-05 · 3 条相关