序列级蒸馏先学句尾,无害拒绝从17.5%推到几乎全拒

Which Tokens, in What Order, and How Fast? A Theoretical Analysis of On-Policy Distillation Objectives

Hubert Strauss, Liam Fowl, Noam Razin

cs.LG, cs.AI, stat.ML

2026-11-18

理论上比较 on-policy 蒸馏的粒度与散度:序列级先学句尾,把教师仅拒绝 17.5% 的无害请求推到学生几乎全拒;学新 token 时 forward KL 比 reverse KL 快到指数级。

这篇在解决什么

On-policy distillation(OPD,学生自己采样再向老师对齐)已经用在压模型、合并专家和自我改进里。off-policy 蒸馏让学生模仿老师写好的句子,训练时条件在老师的上文,测试时换成自己的上文。OPD 去掉这个错位。

目标函数仍靠习惯来选。粒度要么整句,要么每个前缀上的下一个 token;散度常用 forward KL(FKL)、reverse KL(RKL)和 Jensen-Shannon(JS)。旧说法只区分盖住全部模式还是只贴高概率模式,不涉及学习顺序,也不涉及梯度会不会在师生还远时消失。普林斯顿与巴伊兰大学把这三问拆开。

方法

序列级 OPD 最小化整句 reverse KL,用对数概率比当奖励做策略梯度。token 级在每个学生前缀上单独拉近下一 token 分布,采样参数 stop-gradient,前缀概率只当权重。

序列级多看一项:选中某 token 后,师生续写的 reverse KL 下降多少。续写越一致,该 token 越被抬高,老师几乎不选也照抬。这就是未来一致性偏差,像选岔路时只看后面好不好走。命题 1 说明,它等价于用 exp(−续写分歧) 倾斜老师,再做 token 级 RKL,因此句尾先对齐,句首后安定。拒绝短、没有续写分歧,所以占便宜;长回答相反。

FKL 的 logit 梯度正比于总变差,学生不靠近老师就不消失。RKL 看学生分布下 log 概率比的波动,质量集中时波动可以任意小,总变差仍可接近 1。JS 同此结构,老师换成师生各半的混合。单个 logit 上 FKL 正比于概率差,RKL 再乘学生概率。定理 2:表格学生要把初始概率 p0 极低、老师却偏好的 token 抬到误差 ε 内,FKL 与各半混合需 O(ln(1/p0)) 步,RKL 和 JS 需 Ω(p0 的负幂 / ln(1/p0)) 步。序列级下界同阶。各半混合留住 FKL 项,JS 没有。

结果

定理 1 用深度 L 的二叉树比较步数,边只有 A、B,目标全是 A。老师在根和左子树上以 1−δ 选 A,δ=exp(−L),第一步走错后均匀。表格学生初始均匀。序列级一步把错误首 token 抬到至少 1−exp(−Ω(L²)),成功概率到 1−ε 要 exp(Ω(L²)) 步;token 级 FKL、RKL、JS 为 O(L ln L),且不压低正确首 token。L=15、δ=10^−4 的 Transformer 上,序列级先把根上概率几乎全给错误 token,后文对齐后才改回;token 级从根开始很快追上老师。

WildJailbreak 6000 条,有害无害各半。老师 Qwen3-8B 只拒绝 17.5% 的无害请求,序列级却让 Qwen3-1.7B 几乎拒绝全部无害请求,有害请求也几乎全拒,安全准确率下降。安全准确率指有害该拒、无害该答。三种 token 级散度都让安全准确率上升。三个种子上测试集趋势相同,Gemma-3-4B-it 配 27B 老师时过度拒绝仍在。

以 B 开头也算成功时,老师给 B 只有 exp(−L),但该处续写一致。定理 3 中序列级一步达到成功概率 1−ε,token 级至少要 Ω(L ln L)(FKL、JS)或 Ω(ln L)(RKL) 步,优势依赖早停,成功率可先降后升。6000 道算术里老师只在 7.2% 的输出调用计算器,序列级几乎每题调用且正确率超过老师,token 级更低。Gemma 4B/27B 相同。一调用,后续就是题目中的算式。

96 个 2024 年 10 月至 2025 年 4 月的 Python API,14 个库、480 条补全。学生 Qwen2.5-1.5B-Base 发布于 2024 年 9 月,老师是微调后的 Qwen3-8B-Base。首 token 初始概率不超过 10^−3 的提示上,FKL 与各半混合很快追上老师,RKL 和 JS 慢很多。散度覆盖全词表,慢来自景观平坦。

MATH500 上 0.6B 与 1.7B 的初始准确率是 13.0% 和 23.3%(每题 8 次采样),训练集 7500 题,老师 4B 到 32B。RKL 持平或优于 FKL,优势随老师变大。RKL 抬学生本来认为可能的 token,FKL 常抬初始很低的 token,FKL 的准确率随老师变大下降。正文无逐档点数。

设置对照结果
二叉树序列级 vs token 级exp(Ω(L²)) 步 vs O(L ln L) 步
无害拒绝老师 17.5%序列级几乎全拒;token 级安全准确率上升
计算器老师调用 7.2%序列级几乎每题且超过老师
新 API 首 token≤10^−3FKL、各半混合 vs RKL、JS前者追上老师,后者更慢
MATH500RKL vs FKL,老师 4B–32B初始 13.0%/23.3%;RKL 优势随老师变大

为什么重要

选 OPD 目标若只看覆盖还是贴模式,会漏掉学习顺序和梯度尺度。序列级与 token 级可以差出长度平方上的指数步数,FKL 与 RKL 之间则是初始概率上的指数。

新 token 用 token 级 FKL 或各半混合;JS 的梯度站在 RKL 一边。学生已有大约一成到两成正确率且解法很多时,老师越大越适合 RKL。套话不是目标行为时,序列级偏向套话:过度拒绝已有实验,知识问答上的过度弃权只被标成风险,没有实验。还没有可计算的选择器。

局限与存疑

指数分离只对表格学生证明。梯度形式对任意网络成立,参数化仍可能改写偏好。Transformer 只复现了导航、拒答、API 和 MATH。

序列级占优靠早停。老师的计算器调用只有 7.2%,拉回心算之后的准确率没有给出,改版树也允许成功率先降后升。

拒绝由语言模型裁判判定,短拒绝最好认,正文没有裁判与人工的一致率。新 API 的老师额外微调过。MATH 逐档点数不在正文。序列级损失同时包含偏差与消失梯度,实验没有换散度的序列级对照。

术语

原文与代码

社区讨论

相关论文

全部论文解读