LLM强化学习的Off-Policy漂移问题成为算法研究焦点

GRPO 兴起后，训练与推理策略失配（Off-Policy Drift）正成为 LLM 强化学习算法研究的最大焦点。Nathan Lambert 指出 Score Centering 论文附录中的表格很好梳理了各类基于重要性的修正方法；该论文提出用加性修正项抵消策略漂移，稳定离线策略 RL 训练。Chris Liu 则发布 48 页长文《Off-Policy Drift in LLM RL》，系统梳理了 14 种修正方法，为该议题提供了全景综述。

2026-10-31 ~ 2026-10-31 · 3 条相关

事件全程(共 3 集)→

• 第 1 集:网友逆向工程 Tinker 新方法：StableReinforce 本质是 REINFORCE 加分数中心化(2026-10-25,2 条)
• 第 2 集:TRL 异步 GRPO 默认启用 Score Centering(2026-10-27,5 条)
• 第 3 集:LLM强化学习的Off-Policy漂移问题成为算法研究焦点(2026-10-31,3 条)

• RL 研究者：训练-推理失配成 GRPO 兴起后算法研究最大焦点 — natolambert · 2026-10-31
• Score Centering 论文：加性修正项抵消漂移，稳住离线策略 RL 训练 — natolambert · 2026-10-31
• LLM 强化学习暗藏 Off-Policy 漂移：48 页长文梳理 14 种修正方法 — cwolferesearch · 2026-10-31