Score Centering：一文讲清 LLM RL 训练-推理错配失稳及修复方法

cwolferesearch · x · 2026-11-10

Cameron Wolfe 发布关于 score centering 的深度长文，这是一种据称在前沿实验室流行的 LLM RL 稳定化技术。

核心问题：训练-推理错配（TIM）

现代 RL 基础设施将 rollout 生成与策略更新拆分为两个引擎（sampler 与 trainer），两者本应代表同一策略，但由于数值精度、量化、不同 GPU kernel 等实现细节，token 概率会出现偏差。
随着模型走向大型 MoE、disaggregated/异步架构和 agentic 任务，这种错配导致 RL 训练随时间推移越来越难保持稳定。

Score Centering 的做法

为 TIM 导致的不稳定给出清晰解释：错配使 log-derivative trick 不再成立，产生梯度漂移（gradient drift）。
提出一个简单加性修正：在策略梯度中对 score 做中心化（减去采样器下的期望 score），该修正只依赖下一个 token 且对每个 token 通用，从而抵消 sampler-trainer 商带来的偏差。

文章还覆盖了高效实现与重要性采样的结合，配图给出 Qwen3 各尺寸模型在权重噪声与 stale rollout 条件下的训练曲线对比，显示加 SC 后训练精度显著更稳。

「Infra」频道最新