OmniOpt统一优化器分类并建大基准
OmniOpt提出面向大模型训练优化器选择的统一分析框架与分类法,并构建覆盖100多种优化方法的大规模基准。该工作结合元流水线变换、范数约束线性最小化预言机等设计,对现代优化器进行了系统严格评测。
2026-07-07 ~ 2026-07-08 · 2 条相关
- OmniOpt:大规模模型训练优化器统一分析框架与基准 — opendatalab · 2026-07-07
- OmniOpt:现代优化器统一分类与大规模基准 — _akhaliq · 2026-07-08