M+Adam：低精度训练新优化器
AnimaAnandkumar · x · 2026-07-14
作者分享了 ICML 论文 **M+Adam: Low-Precision Training via Additive–Multiplicative Optimization**。 论文提出一种把 **Adam 式加性更新** 与 **Madam 式乘性更新** 结合起来的优化器，用于更有效地训练低精度主权重。论文强调，现代训练虽然常用 BF16、FP8、FP4，但通常仍保留高精度 master weights；他们则直接研究在 **BF16、FP8、NVFP4** 这类低精度权重网格上进行优化。 作者的核心论点是： - 加性更新更适合小权重、零值和符号变化 - 乘性更新在大幅值区域更稳，不容易被舍入掉 - 两者互补，能覆盖不同数值区间 同时附上了论文和代码链接。