M+Adam 优化器提升低精度训练效果

ICML 论文 M+Adam: Low-Precision Training via Additive–Multiplicative Optimization 提出了一种新优化器。实验表明，在 1B 参数以内的 transformer 模型上，从 1x 到 8x Chinchilla 训练预算范围内，M+Adam 在低精度训练场景中表现优于现有方法。

2026-07-14 ~ 2026-07-14 · 2 条相关

• M+Adam：低精度训练新优化器 — AnimaAnandkumar · 2026-07-14
• M+Adam 提升低精度训练效果 — AnimaAnandkumar · 2026-07-14