异步 RL 训练配方趋同：score centering 加掩码重要性采样成默认
_lewtun · x · 2026-10-27
开源 RL 训练框架 slime 转发并引用 TRL 更新：score centering + masked importance sampling 现已成为 TRL 异步 GRPO Trainer 的默认配置。作者称在多种 staleness 与 sampler 量化设置下训练稳定性表现「非常惊人」，slime 感叹业界对稳定异步 RL 的配方正在趋同。这一经验对做 LLM 强化学习训练的工程团队有直接参考价值。
所属事件:TRL 异步 GRPO 默认启用 score centering 与掩码重要性采样(5 条相关)→
「编程与Agent」频道最新
- 玩家自制「Sandman 机器人」追杀上下文膨胀的 Grok bot — alexcovo_eth · 2026-10-28
- 苹果 iPrefBench 揭示移动 Agent 短板：执行力强但个性化差 — apple · 2026-10-28
- 阿里通义 MAI 团队开源 9B 模型，可同时操控手机和电脑 — AdinaYakup · 2026-10-28
- 阿里通义 MAI 团队开源 9B GUI Agent 模型，可同时操控手机和电脑 — AdinaYakup · 2026-10-28
- Rob LeClerc：agent harness 分两层，公司要自建「飞机和驾驶舱」 — robleclerc · 2026-10-28
- Meta 财报电话会：非工程师岗位写代码比例一年从 5% 涨到 30% — omooretweets · 2026-10-28