给自蒸馏教师加高斯扰动再按状态路由,Qwen3 数学平均涨 1.7~2.8 分

Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation

Xincheng Wei, Yifan Ding, Yoshua Li, Yuquan Lu, Ziheng Li, Yi Lu, Dongsheng Ma, Rongxiang Weng, Xunliang Cai

cs.CL, cs.LG

2026-09-30

OPSD 的单一特权教师换成扰动专家池、按状态路由,Qwen3 三规模数学 Average@12 比 OPSD 高 1.67~2.75 分,推理不加成本。

这篇在解决什么

OPSD(on-policy self-distillation,在线自蒸馏)是训练数学推理模型的一条新路线:学生只看题目自己采样,同源的教师副本额外看一份参考解答,在学生轨迹的每个 token 位置上给下一 token 分布当监督。教师带着「答案」这层特权信息,信号质量高于普通 SFT,在原论文的结果里也压过 GRPO。

但 OPSD 有个朴素到容易被忽略的设定:从头到尾只用一个未扰动的教师 M0,所有监督都来自一组固定参数对特权信息的解读。这篇论文问的是:同一个基座检查点在参数空间里的邻近点,对同一份参考解答的解读会不会不一样,里面有没有 M0 给不出的监督?作者给教师参数加小的高斯扰动后发现,不同扰动专家在不同的参考位置把参考 token 的概率抬起来,位置互相错开,拼成池子后覆盖的可行位置明显多于 M0 单独一个。之前的多教师方法(TrustMOPD、RandOpt)按任务答题准确率挑专家,任务准确率不反映监督价值,也不管新专家跟池内已有的重不重。

方法

N-OPSD 把「选哪些专家」和「每个位置听谁的」拆成离线、在线两步。

离线构建专家池:

• 从冻结的基座检查点出发加确定性高斯噪声,得到约 500 个候选扰动专家,连同 M0 共 501 个。
• 用 teacher forcing 在参考解答前缀上跑每个候选,以同一个冻结的 problem-only 模型为基线,计算 PTA:教师把参考 token 概率抬高的幅度。
• 两个过滤器:SCGate 只保留学生侧置信度不高于 0.99 的位置,因为 problem-only 模型在 65.63% 的位置上置信度至少 0.99,这些位置的 top-1 准确率高达 97.67%,监督它们纯属浪费;selection clip 剔除尖峰式增益,这类项在线训练时本来就会被 clip 截掉。
• 贪心选择:每步加入能让「全池各位置过滤后 PTA 最大值之和」提升最多的专家,直到 K=25。这个目标直接给冗余定价,两个专家纠同一个错,后选的边际增益归零。贪心选出的 25 个专家里没有 M0 自己。

在线按状态路由。学生训练时在自己的 rollout 上,前缀可能已偏离参考解答,没有参考 token 可对齐,离线准则不能照搬。路由拆成两问:

• 方向听谁的:MaxPeak 取当前状态下所有专家分配过的最大概率 token 当锚,允许单个专家定方向,不需要池内投票,保住只有一个人知道的修正。
• 用多强的监督:在 top token 等于锚的专家里,按锚上的教师-学生概率差排序,取 75% 分位那位。gap 太大,forward-KL 项会被 clip 掉梯度;gap 太小,比学生强不了多少。

被选中专家的完整下一 token 分布作为目标,套 OPSD 原有的 pointwise forward-KL clip 和在线 SCGate,只有学生参数拿梯度。推理时专家池全部扔掉,部署成本与学生单独上线完全一样。

结果

Qwen3-1.7B/4B/8B,1 万道 OpenThoughts 题目,100 个 optimizer 步,AIME 2024、AIME 2025、HMMT Feb 2025 取 Average@12,每个方法三次独立训练:

九个模型-基准组合全部第一,相对 OPSD 的三基准均值提升 2.75、1.67、1.94 分;8B 上 AIME24 78.70、AIME25 72.78、HMMT 48.24。SFT 和 GRPO 在所有规模上都低于 OPSD 一系。

8B 上的关键消融:

• 选择准则(路由固定):随机池 64.29,按答题准确率的 Quality Top-K 65.00,独立 PTA 排序 65.65,贪心边际 PTA 66.57。「按参考 token 增益选」和「选时考虑池内重叠」两个因素各自有效。
• 池覆盖 26.53% 的参考侧可行位置,M0 只覆盖 15.69%。
• 路由(同一个池):quantile 路由 66.57,比均匀平均高 1.94,比 token 共识高 1.57,比随机选专家(64.91)高 1.66;直接取最高峰专家(q=1)比 q=0.75 低 1.29 分。
• 半径敏感:σ=0.002 最好(66.57);σ 加到 0.006,学生前缀续写准确率从 86.67% 崩到 27.33%,下游掉到 63.24。覆盖率随 σ 一直涨但分数不涨,半径必须在学生前缀上校准。
• 成本:K=25 时每步耗时是 OPSD+SCGate 的 1.423 倍;K=50 多花 25.63% 步时,分数反而掉到 64.35。
• 换散度(JSD、reverse KL)或压缩目标(Top-1-tail)后对 OPSD+SCGate 的优势仍在,收益来自监督源本身,不绑定某一种损失。

为什么重要

对做推理模型训练管线的人,这条路线有三个吸引点:不加数据、不动基座、推理零新增成本,增益全部来自训练期对教师邻域的开采;routed target 与 EOPD 的散度适配、PW-OPSD 的损失加权正交,可以叠加;「按边际监督增益选教师、不按任务表现选」这个准则,任何多教师蒸馏场景都能直接搬。

期望也要定准:1.72.8 分的均值提升是扎实的渐进改进,不是层级跳变,代价是训练步时乘 1.42。值不值得,看预算和对这几个点的需求强度。

局限与存疑

论文把局限讨论放在附录 F,随正文提供的材料里没有这部分内容,以下几条从实验数据里读出:

• 扰动半径高度敏感,0.002 到 0.006 就能把续写准确率从 86.67% 打到 27.33%;半径靠学生前缀续写校准,换模型换数据都要重调。
• 除主表和少数控制组,大量消融是 8B 上的单次训练,方差信息有限。
• 训练预算很小,1 万题、100 步,更长训练会不会稀释邻域增益没有验证。
• 只在数学推理上验证,方法依赖高质量参考解答,迁移到没有标准解答的领域没有证据。
• 池覆盖率 26.53% 仍然不高,邻域里还有多少没被 K=25 开采、贪心池是否接近最优,都没有回答。

术语

• OPSD(on-policy self-distillation):学生在自己采样的轨迹上训练,训练期可见参考解答的教师副本逐 token 给分布监督的自蒸馏方法。
• 特权信息(privileged information):只在训练时可用的额外输入,这里指参考解答,推理时不存在。
• PTA(positive teacher advantage):教师把参考 token 概率抬到 problem-only 模型之上的幅度,衡量一次参考对齐的修正。
• SCGate:学生置信度门控,只对低置信度位置计算损失,跳过学生已经几乎必对的位置。
• teacher forcing:评估时逐位喂标准答案前缀,而非让模型自回归生成。
• Average@12:每道题独立采 12 个回答取平均准确率。

原文与代码

• arXiv 2609.39687v1
• PDF
• Hugging Face

相关论文

• 4 万 LLM 智能体模拟学术圈:拒稿重投让审稿负担涨到 3.2 倍
• 法律回答拆成文风、要件与推理链,要素均分比 SFT 高 6.04
• 12个模型跨三域按来源选品，少一项需求仍68%选偏好站
• 十个ABM上LLM一致性0.900，规则噪声上限0.911
• 29语激活补丁：屈折语共享主谓一致回路，英语仅3sg靠拢
• 联通MoHGE用分组两级路由把MoE总参砍约16%仍打平

全部论文解读