樽本彻也出题:训练中途降学习率,验证损失会怎样
tatsu_hashimoto · x · 2026-11-05
深挖学习率动态的 CS312「Deep Learning Alchemy」课程预测题:训练一个 35M 参数、WSD 学习率调度(峰值 0.003)的语言模型,在训练中途临时降低学习率再恢复,验证损失相对基线如何变化?
两种方案对比:短而深的下降(40-50% 处降至 0.1x)vs 长而浅的下降(35-55% 处降至 0.55x),两者被移除的学习率总和相同。帖中给出四个定性预测选项,考的是对 LLM 训练「河谷」动态的理解。
所属事件:樽本彻也测验：训练中途降学习率只带来短暂改善(2 条相关)→
「研究」频道最新
- STOC 2027 收到1665篇投稿，约75%论文报告使用AI辅助证明 — fortnow · 2026-11-05
- MIT 展示 GPT-6 Astra 直改 Qwen 权重，数学成绩提升 6 倍 — lateinteraction · 2026-11-05
- Michael Levin 团队新预印本:提出 topoiesis 解释群体形态发生救援 — drmichaellevin · 2026-11-05
- 用 coding agent 把声学仿真移植到 WebGPU:浏览器里看声道运动 — vincesitzmann · 2026-11-05
- 同数据同 tokenizer 对照实验：DeepSeek V3.1 微调 CE 优于 Llama 全系 — kalomaze · 2026-11-05
- diffTLM 可微分声道模拟器获 NeurIPS 2026 Spotlight — vincesitzmann · 2026-11-05