斯坦福 CS312 测验：batch 扩 8 倍该调什么

斯坦福讲师 Tatsu Hashimoto 在新课 CS312「Deep Learning Alchemy」中发布预测式测验题，考察深度学习优化直觉：在固定 token 预算、8 层约 35M 参数的语言模型上，将 batch size 扩大 8 倍后应如何调整超参。课程随后公布的答案是 weight decay 应同步乘以 8，引出对 batch size、学习率与正则化之间关系的讨论。

2026-10-28 ~ 2026-10-28 · 2 条相关

• 斯坦福 CS312 测验：batch size 扩大 8 倍，调 LR 还是调 weight decay？ — tatsu_hashimoto · 2026-10-28
• batch 扩大 8 倍该怎么办？斯坦福 CS312 答案：weight decay 同步乘 8 — tatsu_hashimoto · 2026-10-28