实测 Muon 优化器：残差梯度平滑且稳定
stochasticchasm · x · 2026-08-28
作者在训练中发现，使用 Muon 优化器不仅梯度范数（grad norm）明显更平滑，而且在不使用 Sandwich Norm 等技术的情况下，残差的最大值也极其稳定。这表明 Muon 在训练稳定性方面表现优异。
「Infra」频道最新
- DFlash 2 推出块扩散推测解码，显著加速 GLM-5.3-Flash — songhan_mit · 2026-08-28
- 实测 M3 Max 跑通 125B Qwen 模型，推理速度达 70tok/s — mayfer · 2026-08-28
- NVIDIA 推出 Mesh 开源计算网络，聚合闲置 GPU 跑 AI — nvidia · 2026-08-28
- AI 自动化研究发现 vLLM/SGLang 底层数值错误 — josh_tobin_ · 2026-08-28
- Hot Chips 观察：推理芯片进入「群雄 ferment 时代」 — BenBajarin · 2026-08-28
- 分析师预测 CXL 标准将走向商用，有望打破内存墙 — BenBajarin · 2026-08-28