SOAP、Muon 与 KL-SOAP 笔记：AdamW 在大 batch 下撞墙
tokenbender · x · 2026-07-24
- 这组笔记解读了论文 《SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales》。
- 核心观点是：所谓 critical batch size 不只是模型和数据的属性，也和优化器有关；在超大 global batch 下，AdamW 会因为梯度噪声过低而失稳。
- 文中解释了同步预训练在大集群上的通信代价：小 batch 会被同步开销卡住，而大 batch 虽然更省经济成本，却会暴露优化器的上限。
- 笔记提到，在 72B 规模下，Muon 和 KL-SOAP 都优于 AdamW，其中 KL-SOAP 略胜一筹；Muon 的状态开销还低于 AdamW。
- 配图进一步说明：在 MoE 场景里，稀疏专家可能还能稳定工作，但共享/稠密参数会在超大 batch 下成为瓶颈。
所属事件:NVIDIA 论文指 SOAP 与 Muon 优化器优于 AdamW(3 条相关)→
「研究」频道最新
- Infini-AI Lab 开源 Hermit:让 agent 从经验中进化出好习惯 — BeidiChen · 2026-10-27
- Meta FAIR 提出 Self-Direction:把 agent 失败变成 LoRA 技能,成功率提 13.8pp — karen_ullrich · 2026-10-27
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27