新论文：Score Centering 校正项让 LLM 强化学习不再怕训练推理失配

finbarrtimbers · x · 2026-10-25

arXiv 新论文《Score Centering Stabilizes Off-policy Reinforcement Learning》(Martin Marek, Max Ryabinin)研究大模型 RL 训练中的 training-inference mismatch (TIM) 问题。

• 核心发现：TIM 下 RL 不稳定的主因是 drift——训练与推理引擎之间随训练步数累积的持续偏差。
• 方法：推导出一个加性的「score centering」校正项，通过抵消 drift 来稳定训练。
• 结果：在 0.6B30B 模型上，仅靠 score centering 在量化失配场景下就能匹敌或超过基于 importance sampling 的方法，失配越严重优势越大；且因为是加性修正，可与 importance sampling 叠加使用，在 staleness 实验中组合效果优于纯 IS 基线。
• 意义：完全消除 TIM 会严重牺牲 rollout 效率，而该方法以低成本代价绕开了这一矛盾。

原文链接 →

「研究」频道最新

• 论文《Do LLMs Feel?》定位 LLM 内部情绪回路 — mikeflache · 2026-10-25
• 研究者警告：别让「AI 两三天出论文」毁掉同行评审 — ChongZzZhang · 2026-10-25
• OpenBMB 提出 EC²-Bench:边缘-云协作让 Agent 以 15% 成本达到云端 73% 性能 — zibuyu9 · 2026-10-25
• Score centering 通过减偏置项抵消 RL 训练与推理引擎漂移 — finbarrtimbers · 2026-10-25
• TensorFold 实验项目「Living Weights」：让本地模型边聊边把新知识写进权重 — GabGarrett · 2026-10-25
• 研究者提议用 AI 工具筛掉低质论文，让科学家聚焦值得读的研究 — hugo_larochelle · 2026-10-25

更多「研究」频道 AI 资讯 →