NAVER AI Lab 推出 FOAM 优化器：一半状态内存追平 SOAP 与 Muon

naver-ai · hf · 2026-11-13

NAVER AI Lab 发布轻量级 SOAP 变体 FOAM（Factored One-sided Adam-Moment），针对二阶优化器内存与计算开销大的问题：仅用输入侧 preconditioning，砍掉输出侧 Kronecker 因子并省去一次特征分解，同时用分解式 Adam 动量估计器。

在 LLM 预训练中，FOAM 的优化器状态只占常规的一半，速度达到 Muon 级别，同时效果追平强二阶优化器和 Muon 基线，作者称这回答了「能否以接近 AdamW 的开销保住 SOAP 的收益」——答案是肯定的。