Score Centering 论文：加性修正项抵消漂移，稳住离线策略 RL 训练
natolambert · x · 2026-10-31
arXiv 论文《Score Centering Stabilizes Off-policy Reinforcement Learning》（Martin Marek、Max Ryabinin）：
- 问题：LLM 强化学习对训练与推理引擎间的微小差异（train-inference mismatch, TIM）极为敏感；完全消除 TIM 会严重牺牲 rollout 效率
- 发现：TIM 下的 RL 不稳定主要源于「漂移」——训练与推理引擎间随每步训练累积的持续偏差
- 方法：推导出一个加性的 score centering 修正项，通过抵消漂移来稳定 RL
- 结果：在 0.6B 到 30B 参数的模型训练中，仅用 score centering 即可持平或超越基于重要性采样的方法（含量化失配场景），且失配越严重优势越大；由于其加性，还能与重要性采样组合，在 staleness 实验中超越纯 IS 基线
Nathan Lambert 特别推荐论文附录中梳理各 IS 修正方法的对比表格（TIS/CISPO、MIS/IcePop、PPO、DAPO、GSPO、TOPR、DPPO 等），认为这是 GRPO 兴起以来 RL 算法研究的核心方向。
所属事件:LLM强化学习的Off-Policy漂移问题成为算法研究焦点(3 条相关)→
「研究」频道最新
- 圣塔菲研究所推出社会科学基于主体建模的交互式编史 — round · 2026-10-31
- 北大 DragMesh 入选 IJCV:一次拖拽让静态 3D 资产变成可动关节体 — jiqizhixin · 2026-10-31
- 实测打脸：提高 reasoning effort 几乎不提升 Agent 抓错率 — TruthDeep8659 · 2026-10-31
- 《The Proof in the Code》入选年度最佳非虚构：讲述 Lean 与人机协作崛起 — rbhar90 · 2026-10-31
- T-DIG:用一个 LLM 控制任意文生图模型,无需访问权重 — simi_97k · 2026-10-31
- AI 黑客松设计 140 个分子，11 个选择性抑制埃博拉假病毒 — GabriCorso · 2026-10-31