FlashREINFORCE:免 Critic 单轨迹异步 RL,6000+ 次更新稳定训练
青稞AI · wechat · 2026-09-17
面向 Agentic LLM 的异步强化学习方法 FlashREINFORCE(NVIDIA NeMo 团队开源)的技术解读:首个公开并开源 6,000+ 次稳定更新的 critic-free、single-rollout、one-pass 异步 RL 方案。
核心动机:Agent 任务 rollout 节奏不一,单 prompt 单轨迹可把采样预算花在更多不同问题上,且天然契合异步训练;难点在于独立轨迹如何构造反馈、异步漂移如何校正。
三大组件:
- One-Batch REINFORCE:一批独立 prompt 的轨迹用 batch 平均奖励作 baseline,构造正负反馈,失败轨迹也参与学习,无需 critic;
- Sequence Trust Region:在 token 重要性采样之外,用 Bernoulli KL proxy 衡量整条轨迹的策略漂移,超过阈值则整条轨迹不参与更新;
- Sample-Mean Optimization:先在轨迹内部平均 loss 再跨轨迹平均,避免长失败轨迹仅因 token 多而放大负更新。
关键实验结果:
- DeepSeek-R1-Distill-Qwen-1.5B 长 CoT 数学:policy lag 约 4 下稳定训练 6,000 次更新,AIME24/25 均分 21.7→33.7;
- Qwen2.5-Math-1.5B:256k rollouts 达 38.0 均分,比 GRPO 公开结果(512k rollouts,36.3)高 1.7 分且采样减半;
- Qwen3-30B-A3B 工具任务:policy lag 约 8 下三项均分 67.1,领先 GRPO 6.8 分;
- ALFWorld 成功率 98.3% seen / 96.5% unseen。
消融验证:保留正负反馈(36.2 vs positive-only 9.8)、按轨迹平均 loss(截断率 17.2% vs 45.3%)、sequence 级 admission 比 token 级更稳。整套更新无需 critic、ratio clipping 或 reference model 前向。论文与代码已开源。
「编程与Agent」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 开发者指出:编码不再是瓶颈,使用量窗口才是 — kylegawley · 2026-11-02
- demo 通过≠可上线:让 Agent 接管业务前必答的五个问题 — _kellhus · 2026-11-02
- AI agent 通过 100 次测试，为何仍不能接管业务 — djgoel123 · 2026-11-02
- 让 Agent 全权创作:纯代码产出 1 分 44 秒动画短片《最后的园丁》 — ivegotnoidea1 · 2026-11-02
- 起床、用 Claude Code、睡觉：梗图调侃一天全靠它 — tekbog · 2026-11-02