Hugging Face TRL 引入 Score Centering 应对 RL 训练不稳定

Hugging Face 的 TRL 库新增 Score Centering 功能并已稳定可用，其背景是研究发现当训练策略与采样策略的数值不一致时，用 LLM 做强化学习会非常不稳定。同时，TRL 团队宣布 score centering 与 masked importance sampling 现已成为异步 GRPO Trainer 的默认配置，从功能上线到默认启用，直击 RL 训练不稳定的根因。

2026-10-27 ~ 2026-10-27 · 2 条相关

• TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling — _lewtun · 2026-10-27
• TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27