研究者提出假设:Adam 的 β1 在小 batch 下收益更大
torchcompiled · x · 2026-11-18
torchcompiled 提出一个关于优化器超参的假设:更大的 Adam β1(以及推测 Muon 中的对应动量项)可能在小 batch、低学习率的场景下更有收益——因为更大的动量系数能更充分地平滑梯度估计中的噪声、降低方差。
他同时推测:在大 batch 场景下,这种方差 reduction 的收益会递减,此时更大 β1 反而让估计器付出「滞后」(lag)的代价——动量平均的时间窗口变长,梯度信息更新变慢,得不偿失。
这是作者的一手经验性猜想,未附实验数据,属于可验证的研究假设而非结论。
「研究」频道最新
- CVPR 被曝要求作者填写出生日期信息 — xwang_lk · 2026-11-18
- NeurIPS 论文:联合能量模型称人类视觉对齐介于生成与判别之间 — ShahabBakht · 2026-11-18
- SWE-CoWork 基准:最强模型在 101 个真实仓库任务中仅完整通过 8 个 — omarsar0 · 2026-11-18
- rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率+检查点平均 — rasbt · 2026-11-18
- Qdrant 用静态嵌入 35 分钟生成 3280 万条向量,详解 Fastembed 优化 — qdrant_engine · 2026-11-18
- RePPO:训练 PPO 策略种群,让每个 RL 智能体走出自己的解法 — TZahavy · 2026-11-17