斯坦福 CS312 测验：batch size 扩大 8 倍，调 LR 还是调 weight decay？
tatsu_hashimoto · x · 2026-10-28
斯坦福 Hashimoto 发布其新课 CS312「Deep Learning Alchemy」的预测式测验题，考察深度学习优化直觉：
- 实验设定：8 层、约 35M 参数 Transformer，614.4M token，AdamW；batch size 64 参考最优配置为 LR 0.003、WD 0.2、最终 val loss 2.9178
- 问题：batch size 提到 512（优化步数少 8 倍），哪种补偿方案损失最低？A. 不变 / B. LR×√8 / C. LR×8 / D. WD×8 / E. LR×√8 且 WD×√8
这是该课程优化器超参作业单元的一部分（由 wenkaiyue 设计），属于系列预测题的第一道，面向训练从业者检验对 scaling 行为的直觉。
所属事件:斯坦福 CS312 测验：batch 扩 8 倍该调什么(2 条相关)→
「研究」频道最新
- SG-Splat：无位姿输入下的 3D 高斯泼溅，几何与属性解耦提升稳定性 — zhenjun_zhao · 2026-10-28
- CVPR 2026 Highlight：用位姿图优化修复 ACE-Zero 漂移，7-Scenes 超越 COLMAP — zhenjun_zhao · 2026-10-28
- 研究：VGGT 对自身失败知道的比它说出的多，线性探针 ROC-AUC 达 93.5% — zhenjun_zhao · 2026-10-28
- 粗基线击败 7 项中的 6 项 Agent 记忆系统，先跑它再谈管线 — JeremyCMorgan · 2026-10-28
- 微软分析16万条Reddit帖，归纳出23类AI代理委派失败 — dair_ai · 2026-10-28
- 一张表讲透论文各章节写法：功能、文风与经验法则速查 — Faheem_uh · 2026-10-28