Score Centering 论文落地:TRL 异步 GRPO 训练器默认启用
_lewtun · x · 2026-10-27
Thinking Machines 的论文《Score Centering Stabilizes Off-policy Reinforcement Learning》已被 Hugging Face TRL 集成,并从即日起在 Async GRPO Trainer 中默认启用(配合 masked importance sampling)。
论文要点:
- LLM 强化学习对训练与推理引擎的微小差异(training-inference mismatch, TIM)极其敏感;完全消除 TIM 会严重牺牲 rollout 效率
- 作者证明 TIM 下 RL 不稳定的主因是 drift:训练/推理引擎间随每步训练累积的持续偏差
- 提出加性的「score centering」修正项,抵消 drift,稳定 RL 训练
- 0.6B 到 30B 参数模型实验中,score centering 单独使用即可匹敌或超过量化场景下的 importance sampling 方法,且 mismatch 越严重差距越大
- 修正项是加性的,可与 importance sampling 组合,组合后超过纯 IS 基线
QGallouedec 称在多种 staleness 与采样器量化设置下稳定性「相当惊人」。
所属事件:TRL 异步 GRPO 训练器默认启用 Score Centering(3 条相关)→
「编程与Agent」频道最新
- Perplexity Decider 内部拆解：Isaac Flath 将直播讲解决策模型架构 — antoine_chaffin · 2026-10-27
- 开发者提出语音 agent 关键测试:能否听懂旁人对话不是对它说的 — gethackteam · 2026-10-27
- Claude Code v2.1.311 发布:修复 1M 上下文误报与子代理一堆顽疾 — ashwin-ant · 2026-10-27
- Grok Bot v0.75.8 发布：审批规则建议、日历接入与插件即时可用 — mark_k · 2026-10-27
- OpenAI 官宣:GPT-6.1 Sol 助力 CodeRabbit 扫描代码库安全隐患 — OpenAIDevs · 2026-10-27
- Nitro Modules v1 跑通 Node.js,一套原生模块通吃 iOS、macOS 与桌面 — Birchlabs · 2026-10-27