异步RL的max_staleness=3真能限住陈旧度吗?10个框架实测多数做不到

青稞AI · wechat · 2026-11-22

青稞AI 转载的技术长文,讨论大语言模型 RL 后训练中异步执行带来的 staleness(陈旧度)问题。

核心问题:异步 RL 把 rollout 与 training 解耦以提升 GPU 利用率,但样本参与训练时生成策略可能已更新多个版本,staleness 越大越 off-policy,影响稳定性与收敛。许多框架提供 maxstaleness 参数,但作者认为其实际保证与直觉不符。

staleness 定义:对每个 token,训练版本减生成版本;trajectory 取最大 token staleness,GRPO group 取组内最大。来源分两部分:生成期间跨版本(partial rollout 下同一 trajectory 内 token 版本可不同)与生成后排队等待。严格控制指所有实际参与训练的 token 都不超上限。

三层介入点:

框架对比:梳理 10 个框架 14 种配置。第一类仅 L1(AReaL、SkyRL、OpenRLHF、slime、NeMo-RL readyfirst)无法严格保证;模拟实验中 AReaL 设 maxheadoffpolicyness=1,实际最大 staleness 仍达更高值,多个 batch 含超限 trajectory。第二类(verl、TRL、ROLL、prime-rl、Dressage 及 NeMo-RL 其他配置)增加 L3 丢弃/等待、部分加 L2,几乎都能严格控住,但代价是计算浪费或吞吐损失。

文末引出作者自研的 staleness 控制协议及实验(原文后续部分)。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →