研究者提出假设:Adam 的 β1 在小 batch 下收益更大

torchcompiled · x · 2026-11-18

torchcompiled 提出一个关于优化器超参的假设:更大的 Adam β1(以及推测 Muon 中的对应动量项)可能在小 batch、低学习率的场景下更有收益——因为更大的动量系数能更充分地平滑梯度估计中的噪声、降低方差。

他同时推测:在大 batch 场景下,这种方差 reduction 的收益会递减,此时更大 β1 反而让估计器付出「滞后」(lag)的代价——动量平均的时间窗口变长,梯度信息更新变慢,得不偿失。

这是作者的一手经验性猜想,未附实验数据,属于可验证的研究假设而非结论。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →