Muon-RT 用教师轨迹替代动量缓冲，微调省显存还涨 2.6 分

IITK · hf · 2026-11-05

MUON-RT 是对 Muon 优化器的改进：取消独立的动量缓冲，改为复用 EMA 教师与学生权重之间的位移向量。具体做法是对教师—学生位移做径向去除与谱归一化得到方向 P，再与 Newton–Schulz 正交化后的梯度 O 按 α 加权混合作为更新方向。在 Qwen2.5-7B-Instruct 的 SDFT 微调实验中，相比 AdamW 平均提升 2.6 个百分点（Tool use +3.6、Science +1.6），同时降低每 GPU 显存占用；分析显示教师方向对梯度噪声更鲁棒。