ThunderSyncRL:无策略陈旧前提下把Agentic RL提速1.9倍
heghbalz · x · 2026-10-14
斯坦福 Azalia Mirhoseini 组与合作者发布 ThunderSyncRL(arXiv:2610.05935),解决长程 agent 任务后训练中 GPU 空转问题。
- 问题:同步 GRPO/OPD 训练中,learner 在 rollout、验证和奖励计算期间大量闲置——在 SWE-smith 上空转占步时 49.5%;异步方案能填补气泡但引入策略陈旧,效果变差。
- 方法:一旦某条轨迹的奖励就绪就立刻计算其得分梯度(GRPO 不再等整组),OPD 则教师每打分一轮就算一轮梯度,最后统一做一次同步优化器步。论文证明这等价于批量同步更新,零策略陈旧。
- 结果:在 SWE-bench Verified 与 Terminal Bench 4.0 上,达到与同步训练相同 pass@3 的速度快至 1.9 倍,且优于异步基线;相同性能下训练成本更低(8×B200 约 1.9× cheaper)。
「Infra」频道最新
- Eaton 800V 直流电源机架亮相 OCP 峰会，围观者众 — firstadopter · 2026-10-14
- 混合精度+混合加速器采样器跑 RL，配合 off-policy 校正稳定收敛且更省成本 — xiuyu_l · 2026-10-14
- Vercel 构建提速：文件准备平均快 20%，LFS 项目快 54% — cramforce · 2026-10-14
- IBM 联合 Fugaku 完成迄今最大 12635 原子量子化学模拟 — aronchick · 2026-10-14
- AI 算力公司 Fluidstack 大举扩张，开放 200+ 职位瞄准数 GW 级规模 — MxMnr · 2026-10-14
- 实测揭示：同一模型不同供应商，每任务成本差距可达 9 倍 — ArtificialAnlys · 2026-10-14