不同 AI 优化器的相似性与表现对比
eliebakouch · x · 2026-07-19
作者分享了关于多种 AI 优化器（如 Adam mini, SCION, SOAP 等）的对比图表。 - **相似度**：Adam mini 与 SCION 表现非常相似，而 Cautious Adam 与 SOAP 差异较大。 - **缩放规律验证**：通过实验测试了优化器的跨参数规模一致性——即对于 1.2B 模型表现最好的优化器，在参数量较小的 520M 模型上是否同样适用。结果显示大部分优化器符合这一规律，但 SOAP 除外。