Muon 优化器的谱空间隐藏技巧
willdepue · x · 2026-07-14
作者转述了一个针对 **Muon 优化器** 的小技巧：与其把图像信息藏在参数的 entry space，不如“藏在谱空间”里，因为优化器在自身范数方向上更新更温和。 原帖解释说，Muon 会把更新扩散到更多梯度方向，因此更擅长抹掉直接写进权重里的信息；但对固定方向的更新噪声分配更少，所以把信息编码进谱空间后，反而能在训练中保留下来。作者还提到，这个方法在 **NanoGPT speedrun** 里表现出“非常好的保留效果”。