RL 训练漂移被证实等价于向采样模型蒸馏

推文作者 nrehiew 分析了 RL 训练-推理不匹配(TIM)引发漂移的数学根源：漂移项即 sampler 下的 score，本质上等价于向 sampler 做交叉熵蒸馏，导致训练不稳。其继续解读 Score Centering 论文的实现细节，指出修正方法是在梯度中减去这一交叉熵漂移项，实践中该 stop-gradient 项只需用词表 topk(128) 并配合 ρ 重缩放即可实现，有效抵消偏差。

2026-10-16 ~ 2026-10-16 · 2 条相关

• RL 训练漂移本质:向移动的 rollout 模型做蒸馏导致不稳 — nrehiew_ · 2026-10-16
• Score Centering 实现细节:topk(128) 加 ρ 重缩放抵消漂移 — nrehiew_ · 2026-10-16