使用 Muon 优化器无需批次大小预热
nrehiew_ · x · 2026-08-27
分享的损失曲线显示，单独使用 Muon 优化器会导致极高的梯度范数和残差激活。研究发现，架构和优化器的改变使得最佳超参数向更大的批次大小和学习率偏移，且学习率衰减随模型增大而变慢。主要发现包括：使用 Muon 时不需要批次大小预热，因为小批次的惩罚过大；学习率调整拥有更宽的容错区间。
所属事件:Qwen 披露训练细节：Muon 优化器与残差流设计实测结论(5 条相关)→
「研究」频道最新
- 数据量决定智能边界：按数据排序后锯齿前沿变螺旋 — sebkrier · 2026-10-16
- Doc2Harness 基准：19 个前沿模型测编码 Agent，最高通过率仅 53% — _akhaliq · 2026-10-16
- 李飞飞团队开源 OpenWAM：统一世界-动作模型框架，让机器人视频预训练成大脑 — jiqizhixin · 2026-10-16
- NVIDIA TacitVLA：动作不读思维链，推理收益保留、延迟最高降 3.4 倍 — arankomatsuzaki · 2026-10-16
- Cohere Labs 世界模型公开课第 4 期：一文理清 DreamerV1-V4 架构演进 — Cohere_Labs · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16