Together AI 提出 Score Centering，一个修正项稳住 off-policy RL

Together AI 研究员 Martin Marek 与 Max Ryabinin 发布论文《Score Centering Stabilizes Off-policy Reinforcement Learning》，针对 LLM 强化学习中训练策略与采样策略不一致（TIM，training-inference mismatch）导致的不稳定问题，提出原理性修正方法「分数中心化」（Score Centering）。帖子作者 @AndrewZhao 与多位转发者认为，这一发现只用了一个大二概率课层面的协方差恒等式，就直击了 LLM RL 不稳定的根因。

已确认

• 论文指出 TIM 下 RL 不稳定的根源是漂移：训练与推理引擎间的偏差（数值精度、采样框架不同等）随训练步数累积，最终破坏训练稳定性。
• 修正方法基于协方差恒等式 E[AB]=E[A]E[B]+Cov(A,B)，通过在损失中加入分数中心化项，从第一性原理直接抵消不稳定性来源，而非绕过它。
• @AndrewZhao 转述的线程强调，传统修法如数值对齐、重要性采样只是缓解症状，新方法声称做到了直接抵消根因。

为什么重要

• 训练-推理失配是 LLM RL（尤其是 off-policy RL）中的常见痛点，通常靠框架间数值对齐等工程手段缓解。一个只需本科概率论恒等式的修正项若有效，可显著降低 RL 训练对引擎一致性的苛刻要求。
• 该工作展示了从第一性原理分析并消除不稳定性来源的路径，为后续 RL 训练框架设计提供了可直接采用的方案。

2026-09-18 ~ 2026-09-19 · 5 条相关

• 【源头】Together AI 提出分数中心化,修正 RL 训练-推理失配漂移 — PandaAshwinee · 2026-09-18
• 【源头】从第一性原理拆解 RL 不稳定根源，Score Centering 直接抵消 — _AndrewZhao · 2026-09-19
• 协方差恒等式稳住 RL 训练，Score Centering 直击 LLM 强化学习不稳定根因 — burny_tech · 2026-09-19
• 稳定 RL 的关键技巧，不过是大二概率课的协方差公式 — PMinervini · 2026-09-19

另有 1 条近重复转述:PandaAshwinee