FlashREINFORCE：单 rollout 异步 RL 训练 LLM，6000+ 步稳定更新
JFPuget · x · 2026-09-14
开源项目 FlashREINFORCE 号称首个无 critic、单 rollout 的异步 LLM 强化学习方案，已稳定跑通 6000+ 次更新。核心组合：One-Batch REINFORCE + 序列信任域（Sequence Trust Region）+ 样本均值优化。
@giffmana 的解读把方法讲得很清楚：
- 与 GRPO 的 32×4（32 组各 4 rollout）不同，FlashREINFORCE 是每 prompt 只采 1 个 rollout，把 128 个 rollout 凑成一个 batch，且每个 batch 只用于一次优化更新
- 关键优势在应对长 rollout 的拖尾（straggler）：因为没有组的概念，任何 rollout 不必等同组其他样本完成，500 个 runner 随时把完成的 rollout 进队列，凑满 128 个就成一个 batch
论文与代码均已开源。
所属事件:NVIDIA 开源 FlashREINFORCE 异步强化学习框架(4 条相关)→
「研究」频道最新
- DeepMind 首发智能经济学研究：AGI 冲击经济靠协同而非单模型变强 — Scobleizer · 2026-10-31
- 把整台任天堂塞进 1GB 权重：Qwenputer 衍生出 Nesformer — idanbeck · 2026-10-31
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31
- 机器人操作新基准 MolmoSpaces-CommonSense:所有策略无一超过 30% — RanjayKrishna · 2026-10-31
- 用培养脑细胞做视频模型：mischief 1 上线，每秒仅 0.5 美分 — evilsocket · 2026-10-31
- 斯坦福 CS336 笔记:Percy Liang 讲透 Scaling Laws 的思维方式转变 — stanfordnlp · 2026-10-31