FlashREINFORCE:免 Critic 单轨迹异步 RL,rollout 减半超 GRPO 1.7 分
kastnerkyle · x · 2026-09-15
alphaXiv 转发的论文 FlashREINFORCE 提出面向智能体 LM 的免 critic、单 rollout 异步强化学习框架。核心论点:可扩展的 agent RL 不需要对同一 prompt 反复采样,而是每条轨迹一完成即可用于训练。
关键组件:
- One-Batch REINFORCE:跨独立 prompt 做 reward centering,省去组内 baseline
- Sequence Trust Region:处理陈旧、变长轨迹,控制策略漂移
- Sample-Mean Optimization:避免长失败样本主导训练
实验结果:
- DeepSeek-R1-Distill-Qwen-1.5B 上稳定完成 6000 次更新,策略滞后约 4 步
- Qwen2.5-Math-1.5B 五个 benchmark 平均 38.0 分,比 GRPO baseline 高 1.7 个百分点,rollout 用量减半(256k vs 512k)
- Qwen3-30B-A3B 工具使用实验中策略滞后 8 步仍稳定训练
- Qwen2.5-7B-Instruct 在 ALFWorld 上成功率 98.3%(seen)/96.5%(unseen),而 GRPO 会停止调用工具
相比 GRPO 这类基于组的 RL 方法,该框架避免了组同步 barrier,每个 rollout 覆盖新 prompt、即刻成为训练数据,用更少算力获得更多样经验。
所属事件:NVIDIA 开源 FlashREINFORCE 异步强化学习框架(4 条相关)→
「研究」频道最新
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31
- 机器人操作新基准 MolmoSpaces-CommonSense:所有策略无一超过 30% — RanjayKrishna · 2026-10-31
- 用培养脑细胞做视频模型：mischief 1 上线，每秒仅 0.5 美分 — evilsocket · 2026-10-31
- 斯坦福 CS336 笔记:Percy Liang 讲透 Scaling Laws 的思维方式转变 — stanfordnlp · 2026-10-31
- VGGT 3D 模型微调新法：按纹理几何光照拆分可复用 LoRA 方向 — burkov · 2026-10-31
- Moondream 发布 RefCOCO-M：像素级掩码、清除问题标注的指代分割评测集 — victormustar · 2026-10-31