OmniOpt统一优化器分类并建大基准

OmniOpt提出面向大模型训练优化器选择的统一分析框架与分类法,并构建覆盖100多种优化方法的大规模基准。该工作结合元流水线变换、范数约束线性最小化预言机等设计,对现代优化器进行了系统严格评测。

2026-07-07 ~ 2026-07-08 · 2 条相关