Score Centering + 重要性采样互补,破解 LLM 强化学习训练-推理错配
cwolferesearch · x · 2026-11-14
Cameron Wolfe 深入解析 LLM RL 中训练-推理错配(TIM)的两种修复手段为何互补:
- 问题本质:token 由 sampler 采样、梯度由 trainer 计算,导致 sampler 下的期望 token 级分数非零,产生「梯度漂移」。
- Score centering:从每个 token 分数中减去 sampler 下的期望分数,以加法修正消除漂移,同时保留奖励与分数的协方差(学习信号);但学习信号仍是在 sampler 分布下度量,未完全纠正分布错配。
- 重要性采样:用 trainer/sampler 概率比重加权梯度贡献,纠正分布错配;但比率可能极大导致高方差,TIS/MIS 截断屏蔽后又会重新引入梯度漂移。
- 组合方案:先做重要性加权,再在每个 prefix 处减去重要性加权分数的期望,同时解决漂移与错配。
- 实证:轻度错配(如轻微量化)时单独 score centering 已足够;严重错配(如陈旧 rollout、INT8 sampler)时 SC+TIS/MIS 明显更优。
核心结论:重要性采样纠正分布错配、score centering 消除梯度漂移,两者组合无需依赖无界重要性比率,在异步 RL(sampler 相对 trainer 严重滞后)场景尤其有价值。
所属事件:研究者解析修复 LLM 强化学习训练推理错配(2 条相关)→
「研究」频道最新
- Lean 社区通过机器可验证检查器认证黎曼证明;蜜罐假密钥曝光三家大模型厂商泄露 — LeviTurk · 2026-11-22
- 土耳其数学家借 AI 证明黎曼假设?被嘲「有机土耳其人」 — CatAstro_Piyush · 2026-11-22
- Burkov 推出《百页语言模型书》:PyTorch 手把手从零构建 LLM — burkov · 2026-11-22
- 生成式 AI 进心脏病学:Dagstuhl 跨学科研讨会落幕 — StephanMandt · 2026-11-22
- SubRoformer 用 DSP 子带滤波器刷新音乐源分离 SOTA — affige_yang · 2026-11-22
- Emily Riehl 推出 Lean 证明入门游戏,用交互方式教依赖类型论 — abhi9u · 2026-11-22