MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
Aryan Das, Vinay Kumar Verma, Aakansha Mishra
cs.LG, cs.AI, cs.CL, stat.ML
2026-10-30
Muon-RT用师生位移替代动量缓冲,在Qwen2.5-7B的SDFT上比AdamW高2.6分、显存少42%。
SDFT 用专家示范当特权上下文,SDPO 用成功采样的反馈。两者的教师都是学生权重的指数滑动平均(EMA):每步 θT ← τθT+(1−τ)θS,τ 接近 1 时每步只挪一小步。学生采样回答,教师在额外上下文里看同一串 token,损失是两侧下一个 token 分布的差距。
教师本身就是一条参数轨迹,Muon 却另外存一块动量。它只更新 Transformer 块里的二维隐藏权重:梯度先累进缓冲,再用五次 Newton-Schulz 迭代拉平非零奇异值,得到近似正交的更新。嵌入、输出头、Norm 和 bias 仍用 AdamW。每个隐藏矩阵于是常驻学生、教师、动量三份,AdamW 还要多两个矩。Qwen2.5-7B-Instruct 上,动量 Muon 每卡 51.6 GB,AdamW 每卡 64.5 GB。
动量平滑梯度,教师平滑权重。代替缓冲的量在位移 WT−WS 里。
把 EMA 展开,位移等于以往各步实际更新按 τ 的幂折扣后的和,近的步更重。动量里是原始梯度,位移里是正交化后真正施加的方向。填回动量槽,这些输出会再被喂进去一次。若赶在 Newton-Schulz 之前与梯度相加,弱奇异方向会被抬到和强方向一样高,α 就控不住比例。
Muon-RT 把两条支路拆开,正交化之后再相加。
临时矩阵算完即弃,常驻项少掉整块动量。一步优化器 2.3 秒,约是生成占大头的训练步的 2%。
时间上不相关的噪声,会被这段折扣和把方差压到单步的 (1−τ)/(1+τ) 以内。单步最对齐的方向仍是梯度的极因子,教师加上的是跨步平滑。在光滑、PL、漂移有界且方向对齐时,期望目标间隙线性收到残差邻域,常数没有在语言模型上估计。
SDFT 实验用 Qwen2.5-7B-Instruct、两张 H100。工具使用 252 步,科学问答 166 步,每步 32 条,训 2 个 epoch。学习率在 3e-5 与 5e-5 里取更好的一次,α=0.1,1−τ=0.01,每个设置三个种子。AdamW 的对照取自原论文,同一 32 位教师设定下,数值落在运行波动以内。
新任务上 Muon-RT 最高:工具使用 74.2%,科学问答 71.8%。SDFT 配 AdamW 是 70.6% 与 70.2%,平均高 2.6 分。无动量 Muon 是 69.1% 与 69.0%,教师支路多出 5.1 与 2.8 分。动量 μ=0.95 只有 66.9% 与 68.3%,平均差 5.4 分。这 5.4 分里,很大一块是动量本身在减分:同一 Muon 打开动量,两任务掉 0.7 到 6.2 分。相对同显存的无动量 MuonClip,只高 1.0 与 0.8 分。
| 任务 | 优化器 | 新任务 | 旧能力平均 |
| 工具使用 | SDFT+AdamW | 70.6 | 65.4 |
| 工具使用 | Muon μ=0 | 69.1 | 64.3 |
| 工具使用 | MuonClip μ=0 | 73.2 | 63.5 |
| 工具使用 | Muon-RT | 74.2 | 63.0 |
| 科学问答 | SDFT+AdamW | 70.2 | 64.5 |
| 科学问答 | Muon μ=0 | 69.0 | 64.8 |
| 科学问答 | MuonClip μ=0 | 71.0 | 65.4 |
| 科学问答 | Muon-RT | 71.8 | 65.3 |
旧能力是 HellaSwag、HumanEval、IFEval、MMLU、TruthfulQA、WinoGrande 六项平均。自蒸馏各优化器相差不超过 2.4 分,相对 SFT 仍高出一截:科学 65.3 对 53.4,工具使用 63.0 对 56.3。科学任务的 HumanEval 为 70.7,六项平均 65.3,高于 AdamW 的 64.5。工具使用上新任务多 3.6 分,六项平均少 2.4,IFEval 从 71.9 降到 63.7,约是 AdamW 旧能力的 96%。
工具使用在第 100 步到 74.2%,全长 252 步。MuonClip 第 250 步才到 73.2%,无动量 Muon 没过 69.1%。
SDPO 换到 Olmo-3-7B-Instruct,生物与材料两个子集,看 1 小时和 5 小时内最好的 avg@16,即 16 次采样的平均准确率。相对 SDPO+AdamW,四个格子平均高 2.0 分:1 小时高 0.7 到 1.1,5 小时高 2.4 与 3.7。材料 5 小时 82.8%,高于表内基线,AdamW 为 79.1%。生物 5 小时 55.2%,高于 SDPO+AdamW 的 52.8%,低于 GRPO 的 55.8%。GRPO 的训练信号不同。
梯度释放后,每卡常驻显存 AdamW 64.5 GB,动量 Muon 51.6 GB,Muon-RT 37.7 GB,少 26.8 GB(42%)与 13.9 GB(27%)。无动量 Muon 和 MuonClip 同样 37.7 GB,准确率低 0.8 到 5.1 分。外推到 10T 参数、全 32 位并计入梯度时,AdamW、动量 Muon、Muon-RT 为 200 TB、160 TB、121 TB,后两者相对少 40% 与 25%。7B 实测不含梯度,两个百分比口径不同。
α 只在 0.1 最高。工具使用上 0、0.05、0.1、0.2、0.4 对应 69.1、67.0、74.2、68.0、67.0,0.05 比不用教师更差;科学问答对应 69.0、66.5、71.8、66.8、65.4。正交化前混合、留下径向、余弦门控,工具使用降到 72.5、70.5、69.2。QK-Clip 把无动量 Muon 从 69.1 抬到 73.2,把 Muon-RT 从 74.2 降到 66.0。裁剪只改学生的 query,位移里会混进非学习步的偏差。
训练里本来就有一份逐参数对齐的 EMA 时,Muon-RT 只换优化器,SDFT 和 SDPO 的损失都不用改。省掉的是隐藏矩阵那块动量。7B 上它用无动量 Muon 的显存,新任务分高于存着动量的 Muon。
没有这份对齐的教师,替换就不成立。为省动量再养一个教师,显存不会降。42% 建立在 32 位教师上,原版 SDFT 的 bfloat16 教师套不上这个数。
实验只有两个 7B 家族、四项任务。线性收敛依赖光滑、PL 和对齐假设,系数没有在语言模型的损失上拟合。附录里「教师方向更对齐、二阶矩更小」的核算,用的是第 10 层 key 投影和已知均值的合成噪声,不是真实的自蒸馏梯度。
5.4 分对照的是 μ=0.95。同显存下更强的无动量 MuonClip 只差约 1 分,工具使用的 IFEval 还从 71.9 掉到 63.7。α=0.05 比完全不用教师更差,峰很尖,SDPO 直接沿用 0.1,没有第三类任务去试这个峰还在不在。三个种子跑过,表里没有方差。
τ=0.99 时,教师单步相对权重只有约 1e-5,bfloat16 只能分辨约 4e-3 以上的相对变化,大多数 EMA 更新会被舍掉。同一块 key 投影上,学生、32 位教师、bfloat16 教师离开初值的距离是 2.15、1.37、0.66,后者 79% 的元素全程没变。32 位教师每卡多 7.6 GB。相对原版双 bfloat16 的 SDFT,省下的比例小于 42%。