异步RL的max_staleness=3真能限住陈旧度吗?10个框架实测多数做不到
青稞AI · wechat · 2026-11-22
青稞AI 转载的技术长文,讨论大语言模型 RL 后训练中异步执行带来的 staleness(陈旧度)问题。
核心问题:异步 RL 把 rollout 与 training 解耦以提升 GPU 利用率,但样本参与训练时生成策略可能已更新多个版本,staleness 越大越 off-policy,影响稳定性与收敛。许多框架提供 maxstaleness 参数,但作者认为其实际保证与直觉不符。
staleness 定义:对每个 token,训练版本减生成版本;trajectory 取最大 token staleness,GRPO group 取组内最大。来源分两部分:生成期间跨版本(partial rollout 下同一 trajectory 内 token 版本可不同)与生成后排队等待。严格控制指所有实际参与训练的 token 都不超上限。
三层介入点:
- L1 准入控制:限制并发/待处理量,成本最低但只限数量不限个体 staleness,慢 prompt 可跨多版本。
- L2 rollout 运行时控制:版本推进时取消已不可能达标的在途 trajectory,省后续算力但已生成 token 浪费,且覆盖不到排队阶段。
- L3 训练前控制:按实际训练版本检查、丢弃或停等,最接近训练入口、最能保证严格上限,但丢弃浪费整条生成、停等拖慢训练端。
框架对比:梳理 10 个框架 14 种配置。第一类仅 L1(AReaL、SkyRL、OpenRLHF、slime、NeMo-RL readyfirst)无法严格保证;模拟实验中 AReaL 设 maxheadoffpolicyness=1,实际最大 staleness 仍达更高值,多个 batch 含超限 trajectory。第二类(verl、TRL、ROLL、prime-rl、Dressage 及 NeMo-RL 其他配置)增加 L3 丢弃/等待、部分加 L2,几乎都能严格控住,但代价是计算浪费或吞吐损失。
文末引出作者自研的 staleness 控制协议及实验(原文后续部分)。
「Infra」频道最新
- SK 海力士 HBM4 良率据称突破 70%,Q3 全面量产出货 — Beth_Kindig · 2026-11-22
- Mflux 让 8GB Mac 跑 MOSS 图像生成:4 步蒸馏 768x768 仅 82 秒 — bio_risk · 2026-11-22
- Claude 或证黎曼猜想引热议:为何不重造 AI 的内存与推理成本? — Kitchen_Mirror_7247 · 2026-11-22
- Intel D270 AI 卡曝光:160GB LPDDR5X、350W,或售约 1 万美元 — Terminator857 · 2026-11-22
- 研究:就地建光储电站是美国多数地区 AI 数据中心最便宜的供电方案 — mattbeane · 2026-11-22
- AMD 向 Rust 推理引擎 LexiEngine 新增 Inkling 模型支持 — W61k3r · 2026-11-22