斯坦福 CS312 测验：batch size 扩大 8 倍，调学习率能补救吗？
2C_ornot2C · x · 2026-10-30
斯坦福 Tatsu Hashimoto 公开 CS312（Deep Learning Alchemy）课程的一系列直觉测验，首题考优化器超参：在 8 层约 35M 参数 Transformer、614.4M token、AdamW 的设定下，batch size 从 64 增至 512（优化步数减少 8 倍）后，仅靠缩放学习率或 weight decay 能否补偿？参考配置为 peak LR 0.003、WD 0.2、最终验证 loss 2.9178。被转发者评为近期学习前沿 LLM 训练的最好资源——不需要在实验室工作也能学会怎么训好 LLM。
「研究」频道最新
- 亚马逊推出 DreamFAR 世界模型：让机器人在虚拟世界训练，π₀ 真机性能近翻倍 — CyberRobooo · 2026-10-30
- Investor's Last Exam 基准：顶级 AI 模型擅长研究但败在投资判断 — Huangfei Jiang · 2026-10-30
- SpecSlot：频谱槽位解耦细节与全局注意力，像素空间生图 FID 降 2.84 省算力 — Jiongfan Yang · 2026-10-30
- Apple 论文：在线强化学习训练 UI 导航 Agent，直接在真实 iOS 应用上练 — apple · 2026-10-30
- KAIST 推出 L3G-World：潜在 3D 高斯记忆实现实时无限世界生成 — kaist-ai · 2026-10-30
- 北航与美图推出 PhysInsert：几何先验实现物理合理的参考图物体插入 — Yue Gong · 2026-10-30