LLM 强化学习暗藏 Off-Policy 漂移：48 页长文梳理 14 种修正方法
cwolferesearch · x · 2026-10-31
Chris Liu 发布 48 分钟阅读的长文《Off-Policy Drift in LLM RL》，系统梳理 GRPO 走红以来 RL 算法研究的核心议题：训练-推理失配。natolambert 与 cwolferesearch 均在阅读并推荐。
- 现代大模型 RL 实质上是 off-policy：即使宣称 on-policy 的框架，采样策略与计算梯度的策略之间也存在 gap
- 漂移来源众多：推理与训练引擎精度不同、attention kernel 不同、张量并行配置不同、MoE 路由在 forward 间翻转、异步流水线消费陈旧 rollout、同批次多 epoch 训练
- 文章覆盖 14 种 advantage estimator 与 R3、IcePop、QUATRO、MinPRO、SAPO、GSPO、OAPL、KL-cov、R²VPO、DISPO 等修正方法，给出诊断决策树与统一对比图
- 基于 verl 源码核对了 DeepSeek-V3.2 与 Ring-1T 的生产配方，并以五个可证伪猜想收尾
所属事件:LLM强化学习的Off-Policy漂移问题成为算法研究焦点(3 条相关)→
「编程与Agent」频道最新
- 开发者吐槽:75% 时间在等 Agent 跑活,代码质量反受拖累 — RileyRalmuto · 2026-10-31
- 开发者实测:Opus 5.5 生产力暂时领先,继续保留 GPT Pro — kevinkern · 2026-10-31
- GitHub 展示 Chopin:面向 Agent 时代的多人协作规划工具 — 0xkarasy · 2026-10-31
- 免费无鉴权笔记本配件查询 MCP 上线，362 款机型 4959 个零件 — AnyFaithlessness3492 · 2026-10-31
- Thoughtworks CTO:好开发者抗拒 Agent 编程,是深知上线不等于能用 — rseroter · 2026-10-31
- Thorsten Ball 分享用 Agent 工作法:只用最强前沿模型 — danbri · 2026-10-31