专题 · FULL STORY

StableReinforce 引发的分数中心化风潮

Thinking Machines 发布新 RL 方法 StableReinforce，被网友逆向发现本质是 REINFORCE 加分数中心化，随后 Hugging Face TRL 在异步 GRPO 中默认启用该技术。围绕 off-policy 漂移的讨论随之升温，成为 LLM 强化学习算法研究的焦点。

2026-10-25 ~ 2026-10-31 · 3 集 · 10 条

第 1 集 · 网友逆向工程 Tinker 新方法：StableReinforce 本质是 REINFORCE 加分数中心化(2026-10-25,2 条)

Thinking Machines(Tinker)发布新的 RL 训练方法 StableReinforce,用于解决 off-policy RL 中因异步延迟和数值失配导致的训练突然崩溃问题。随后有网友发帖进行逆向工程,指出该目标函数本质上就是 REINFORCE 加上分数中心化,相关论文作者也参与讨论,这一发现使 Score Centering 技术在社区中走红。

第 2 集 · TRL 异步 GRPO 默认启用 Score Centering(2026-10-27,5 条)

Hugging Face TRL 团队（@lewtun、@lvwerra）宣布，score centering 与 masked importance sampling 已合并进 TRL（PR #7760），即日起成为异步 GRPO Trainer 的默认配置。这标志着源自 Thinking Machines 论文《Score Centering Stabilizes Off-policy Reinforcement Learning》的方法正式落地主流开源 RL 训练栈。

已确认

  • TRL 的 AsyncGRPO 训练器默认启用 score centering + masked importance sampling（PR #7760）
  • 该功能由 @lvwerra 确认已稳定可用，背景是 Thinking Machines 的研究：当训练策略与采样策略数值不一致时，LLM RL 训练非常不稳定，常规修复（数值匹配、重要性采样）只是绕开问题
  • @lewtun 介绍，在各种 staleness 和 sampler 量化设置下验证有效，包括 FP8 采样器训练不再崩到 0.10 的情况
  • 开源 RL 训练框架 slime 转发并推荐该更新，认为异步 RL 训练配方正在趋同

为什么重要

  • 异步/off-policy RL 是当前 LLM 训练的主流方向，而策略数值不一致导致的训练不稳定是核心痛点；score centering 直指根因而非绕开问题
  • 进入 TRL 默认配置意味着普通用户开箱即得稳定训练，无需自行调参；多个框架采纳后，score centering 有望成为异步 RL 的标准组件

第 3 集 · LLM强化学习的Off-Policy漂移问题成为算法研究焦点(2026-10-31,3 条)

GRPO 兴起后，训练与推理策略失配（Off-Policy Drift）正成为 LLM 强化学习算法研究的最大焦点。Nathan Lambert 指出 Score Centering 论文附录中的表格很好梳理了各类基于重要性的修正方法；该论文提出用加性修正项抵消策略漂移，稳定离线策略 RL 训练。Chris Liu 则发布 48 页长文《Off-Policy Drift in LLM RL》，系统梳理了 14 种修正方法，为该议题提供了全景综述。