Qwen 超参数实验：Muon 无需批处理预热且更稳定
nrehiew_ · x · 2026-08-27
研究发现，架构和优化器的改变使得最佳超参数向更大的批处理大小和学习率偏移。关键结论包括：
- 使用 Muon 时不需要批处理预热。
- 学习率容错率更高，在最优值 sqrt(2) 倍范围内均表现良好。
- 稳定性测试显示，在高学习率下，即使梯度范数更大，Muon 也比 Adam 显著更稳定；门控机制显著提升了稳定性。
所属事件:Qwen 披露训练细节：Muon 优化器与残差流设计实测结论(5 条相关)→
「研究」频道最新
- 康奈尔与亚马逊研究：扩散语言模型预训练算力差距实为3-8倍而非16倍 — LucaAmb · 2026-10-16
- AI 学的是“幸存的文本”：人类最深的智能从未被记录 — r0ck3t23 · 2026-10-16
- QRR 循环推理器：商空间收敛，Sudoku-Extreme 达 97.9% 且循环减少 78% — burny_tech · 2026-10-16
- 数学学者撰文解读 OpenAI 证明集里的 Egyptian fraction 论文 — burny_tech · 2026-10-16
- Robin Hanson：神经网络几乎是「解释的分形」 — burny_tech · 2026-10-16
- 神经网络真这么简单？特征组合论引发认知科学之争 — burny_tech · 2026-10-16