新研究：LLM 强化学习训练可弃用 AdamW,标准 SGD 同样有效
zhaoran_wang · x · 2026-09-14
ethantsliu 转发并总结了一项研究,挑战「大规模 Transformer 训练必须用 AdamW」的默认假设。
核心结论:
- 在 RLVR(可验证奖励的强化学习)阶段,标准 SGD 效果与 AdamW 相当,且显存开销大幅降低——AdamW 需存储一阶与二阶梯度矩,内存负担极大。
- 论文指出 RL 与 SFT 是本质不同的训练机制:RL 中二阶矩的方差比 SFT 低约 22 倍,意味着大多数参数的有效步长几乎一致,自适应学习率意义不大;momentum 的影响也远小于预期。
- 由此推论:RL 阶段可以完全去掉 AdamW 的逐参数自适应性,换来更省内存、更稀疏的优化方案。
所属事件:新研究：RL 训练大模型可用 SGD 替代 AdamW(2 条相关)→
「Infra」频道最新
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30
- 量子行业去年风投 49 亿美元仅营收 19 亿，四市场全景指南发布 — antavedissian · 2026-10-30