Mitigating the Length-Scaling Tax with Online Distillation
Xu Wan, Wenyue Xu, Shengjie Zhao, Mingyang Sun
cs.LG, cs.AI
2026-09-30
量化 RL 后训练的长度税,用 EMA 自蒸馏把单轮税率从 19.0% 压到 -3.7%、多轮从 31.4% 到 13.7%,精度不降反升。
RLVR(用可验证奖励做强化学习后训练)流行之后,回复越训越长常被当作推理能力在涨的信号。但在模型本来就会的题上,变长没有收益,纯是多花 token。论文把这笔开销量化成 LST(length-scaling tax,长度税):在某個 checkpoint 固定一组已经全对的题,看后续训练把它们的平均长度抬高了百分之几,参照是精度达标前提下 RL 全程最短的 checkpoint。
涨的机制在目标函数里。GRPO(组相对策略优化)给同一 prompt 的一组 rollout 算相对 advantage,全对时 advantage 趋近零,easy 组从此没有「保持简洁」的梯度;但所有题共享参数,hard 组的更新照样改变 easy 前缀上的 token 分布,长度只涨不跌。dynamic sampling(丢弃无信息 rollout 组的做法)和难度课程都在推波助澜:前者直接扔掉全对组,后者把训练分布压向难题。
实证部分确认了税的存在。Qwen3-4B-Base 在 DAPO-Math-17K 上做 RLVR,无论用哪个 checkpoint 定义 easy 集,这批题精度基本不动、长度一路涨;只训难题的设置税最高;开局就用 8k rollout 预算会加剧,后期才扩到 8k 反而缓解。对 5,824 条回复的分析显示,多出来的 token 主要是反思词和重复 bigram,不是有效推理。
LSD(Length Self-Distillation)在原 RL trainer 上加两个组件。
蒸馏目标有三种实现:SG-FKL 在 teacher top-32 token(加 stop token)上最小化 forward KL,梯度直接过 student logits;SG-RKL 在同一支撑集上做 reverse KL;PG-RKL 把 teacher 与 rollout 策略的 logprob 差当 detached advantage,套 PPO 式 clip。两条路的 loss 按各自序列数加权合并。设计逻辑:easy 组缺的恰好是 token 级保持信号,OPD 在 student 自己的 prefix 上给密集监督,补的就是这块;hard 组仍要探索,留给 RLVR。
单轮数学(Qwen3-4B-Base,AMC23 + AIME25/26 共 143 题,每题 32 条采样):
| 方法 | Avg Pass@1 | Easy 长度 | Hard 长度 | LST1000 |
| RL | 42.90 | 997 | 2329 | +19.0% |
| CRISP | 40.56 | 972 | 2364 | +10.6% |
| Fixed SG-FKL(π0 教师) | 30.44 | 691 | 1323 | -10.8% |
| LSD(SG-FKL) | 44.20 | 859 | 2511 | -3.7% |
| LSD(SG-RKL) | 42.80 | 757 | 2395 | -10.9% |
| LSD(PG-RKL) | 43.56 | 802 | 2393 | +1.4% |
SG-FKL 综合最好:Pass@1 比 RL 高 1.3 pp,easy 集长度降约 14%,LST 转负。配对评估(同一批冻结查询)里三个变体都比 RL 更短且更准:b=1000 的 23 题上,RL 98.64% 精度、平均 1016 token,SG-FKL 99.73%、822 token。hard 题没有陪绑:hard 补集长度从 RL 的 2329 涨到 2511,难题反而答得更长;step 500 之后 easy 路只占训练 token 的 10.6%12.2%,近九成 token 仍在 hard 路。随机路由对照(相同 teacher 与目标、随机选组)把 Pass@1 打到 22.08%,收益来自路由本身。
多轮 agent 任务(Qwen3-8B-Base,CutTheBill 训练,BrowseComp-Plus 830 题评测):
| 方法 | Pass@1 | 平均轮数 | LST50 |
| RL | 29.50 | 5.41 | +31.4% |
| RL + Length Penalty | 22.58 | 4.66 | +1.2% |
| LSD(SG-FKL) | 30.72 | 5.24 | +13.7% |
| LSD(SG-RKL) | 29.60 | 4.93 | +9.2% |
| LSD(PG-RKL) | 31.65 | 5.66 | +16.1% |
RL + Length Penalty(对简单题加更强长度惩罚)把税压到 1.2%,代价是 Pass@1 从 29.50 掉到 22.58;LSD 税只降一半,Pass@1 反而站上 30。消融:EMA 半衰期 H=4 最好(单轮 Pass@1 41.85%);路由阈值从 1.0 放宽到 0.85/0.75,Pass@1 退到 40.91%/39.31%,支持只保护全对组,部分对的组留给 RL 继续学。
回复长度就是推理成本。RL 后训练产出的模型在简单题上系统性变长,意味着线上每道简单请求都在多付 token 钱;LST 给出按「已会题目」切片的测量口径,比平均长度这类粗统计更能暴露浪费在哪。
方法上,不需要外部 teacher、不加 rollout(路由信号免费来自训练本来就有的 rollout 组),可以直接挂在现成 GRPO 训练器上。与长度惩罚这类奖励塑形相比不伤精度,与 CRISP 这类全程蒸馏相比保留了难题探索。对做 RL 后训练的团队,这是一个改造成本低、风险可控的增量组件;它没有动 RLVR 范式本身,属于渐进改进。
作者自述:只在 Qwen3-4B 和 8B 上验证,更大模型留作后续;代码等论文接收后放出。
读下来另有几处存疑。配对评估的 easy 集很小,三个 anchor 分别只有 10、22、23 题,单题波动就能晃动结论,论文自己的反例 aime256 上,SG-RKL 从 RL 的 31/32 对掉到 28/32。LST 参照取「RL 轨迹上精度达标的最短 checkpoint」,带任意性;论文也承认 τ<1 时只能在精度阈值下比长度,不等于同精度下的浪费。阈值消融里蒸馏 token 份额和有效系数同步变化,哪个信号导致性能差异没有隔离。PG-RKL 在多轮任务上税降幅最小、轮数还比 RL 多,税低不直接等于交互便宜。多轮实验绑定了 CutTheBill 训练集和独立的 refinement agent,换一套 agent 栈能否复现,论文没给证据。