新研究：最优优化器随 batch size 变化，Top3 皆 shampoo 变体
zacharynado · x · 2026-10-12
xingyudang 团队的优化器综合扫描研究发现：哪个优化器最好的答案会随 batch size 改变，最佳的 batch size 缩放规则依赖具体设定，无法从 SDE 或凸界等早期理论推导出来。arohan 调侃前三名都是 shampoo 及其变体，并推荐关注原论文作者 @GuptaVineetG。
所属事件:新研究发现最优优化器随批量大小而变(3 条相关)→
「研究」频道最新
- OpenAI 把平面色数下界提到 6,Lance 撰文解析证明思路 — fortnow · 2026-10-12
- Snorkel AI 开放基准资助计划扩容至 3000 万美元 — ajratner · 2026-10-12
- 「一个神经元的海岸线有多长」：点神经元模型或低估树突计算 — neurovium · 2026-10-12
- 社区把 OpenAI Problem #190 反例从 66×66 缩到 3×4,Lean 验证通过 — BorisMPower · 2026-10-12
- 实操经验:自动研究做 LLM 预训练,堆叠组合改动是最大杀手 — menhguin · 2026-10-12
- UbiComp 论文用视频蒸馏 IMU,让 AI 眼镜摆脱摄像头常开 — flosalim · 2026-10-12