Score Centering + 重要性采样互补,破解 LLM 强化学习训练-推理错配

cwolferesearch · x · 2026-11-14

Cameron Wolfe 深入解析 LLM RL 中训练-推理错配(TIM)的两种修复手段为何互补:

核心结论:重要性采样纠正分布错配、score centering 消除梯度漂移,两者组合无需依赖无界重要性比率,在异步 RL(sampler 相对 trainer 严重滞后)场景尤其有价值。

所属事件:研究者解析修复 LLM 强化学习训练推理错配(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →