研究员：现有优化器已能在更大 batch 下超越 Shampoo
_arohan_ · x · 2026-10-11
Arohan（Google 深度学习研究员）称如今的优化器已能在更大的 batch size 下击败 Shampoo，并补充说「讽刺的是，所有人都受益于更好的优化器，而不只是它诞生的地方」。这是关于大模型训练优化器进展的行业观察。
所属事件:谷歌研究员称现有优化器已在大批量训练上超越 Shampoo(2 条相关)→
「研究」频道最新
- GitSwarm 论文:多智能体共享 Git 仓库实现可组合的长程推理 — NandoDF · 2026-10-11
- DeepMind FNV3 提前 11 天预测飓风 Isaias，提前锁定登陆点 — GabGarrett · 2026-10-11
- Muennighoff 算账：KV 压缩丢掉 262GB 只留 20KB — Muennighoff · 2026-10-11
- Muennighoff 在 MIT NLP 研讨会讲无限测试时扩展与 prefix sliding — Muennighoff · 2026-10-11
- 对称密码分析耗 6677 研究人年,约为所有格密码研究的 6.4 倍 — matthew_d_green · 2026-10-11
- 10 年级生用免费 Muse 带 agent 群 8 小时产出 3 篇数学预印本 — EastConsequence3792 · 2026-10-11