谷歌研究员称现有优化器已在大批量训练上超越 Shampoo

谷歌深度学习研究员 Arohan 发推表示，如今的优化器在更大的 batch size 上也能击败二阶优化器 Shampoo。此前关于 Shampoo 的讨论多集中在训练速度与收敛效率，而这次的新说法表明其在批量规模维度的优势也被赶超。他还补充说，具有讽刺意味的是，所有模型都会受益于更好的优化器，而不只是优化器诞生的那一家机构。

2026-10-11 ~ 2026-10-11 · 2 条相关

• 研究者称新方法在 batch size 上也胜过 Shampoo 优化器 — _arohan_ · 2026-10-11
• 研究员：现有优化器已能在更大 batch 下超越 Shampoo — _arohan_ · 2026-10-11