TRL 异步 GRPO 默认启用 score centering：FP8 采样器训练不再崩到 0.10
_lewtun · x · 2026-10-27
Hugging Face TRL 合并了 AsyncGRPO score centering PR（#7760），score centering + masked importance sampling 现在成为异步 GRPO Trainer 的默认目标函数（与 miles 和 Modal 的混合精度方案一致）。
问题背景：异步 GRPO 中旧 log-probs 来自 vLLM 采样器，重要性比率同时混入 staleness 和 server/trainer 数值失配。当采样器精度低于训练器时，clipped objective 会崩溃——在 FP8 vLLM 采样器 + bf16 训练器的 sanity 实验里，奖励从 0.60 跌到 0.34（FP8 权重）甚至 0.10（FP8 权重 + KV cache），而 bf16 采样器为 0.71；单靠 cap 或 mask 比率都无法阻止。
启用 score centering 后，FP8 采样器的训练效果与 bf16 完全一致（0.72），在各种 staleness 与采样器量化设置下稳定性显著提升。该改进对应论文 2609.20807。
所属事件:TRL 异步 GRPO 默认启用 score centering 与掩码重要性采样(5 条相关)→
「Infra」频道最新
- Evercore 预计 2027 年初微软自研 Maia 芯片仅占其 AI 芯片支出约 10% — Beth_Kindig · 2026-10-28
- YC F26 项目 Applied Kin 用 AI 原生模式造变压器，7 周即报价 — ycombinator · 2026-10-28
- 轨道算力公司 Cowboy 公布 1MW 卫星设计：5 机架 GPU、6 条 1.2Tb/s 激光链路 — BenBajarin · 2026-10-28
- 开源网关 Zilla 加入 LLM 支持:难点是保住原生 API 特性而非路由 — jkriket · 2026-10-28
- Together 提出 MIGHT 开源 AI 技术栈：模型/推理/路由/Harness/工具五层可自由替换 — togethercompute · 2026-10-28
- 数据中心日均用水 1.6 万加仑，不到高尔夫场地的五分之一 — lmoroney · 2026-10-28