NVIDIA 开源 FlashREINFORCE:无 Critic 单_rollout 异步 RL 框架,稳定 6000 次更新
inductionheads · x · 2026-09-14
NVIDIA 研究团队发布并开源 FlashREINFORCE,一个面向智能体语言模型的无 Critic、单 rollout、异步强化学习框架。
- 动机:长程智能体的 rollout 时长不均(工具调用、环境交互),组相对方法(GRUPO 类)需要同一 prompt 多个 sibling rollout,既浪费预算又引入同步屏障。
- 三个核心组件:One-Batch REINFORCE(每 prompt 只跑一次 rollout,用 token 重要性采样修正过期行为)、Sequence Trust Region(控制累积策略漂移)、Sample-Mean Optimization(防止长失败轨迹主导优化)。
- 结果:据称是首个开源的无 Critic、单 rollout 异步 LLM RL,实现 6000+ 次稳定更新。论文、代码、项目页均已公开。
所属事件:NVIDIA 开源无 Critic 异步强化学习框架(3 条相关)→
「编程与Agent」频道最新
- LangChain 发医疗 Agent 落地指南:药企与医疗公司如何进生产环境 — LangChain · 2026-09-14
- 开发者用 NoSpoon agent 自主批量产出数百部垃圾微短剧 — sachinmaya1980 · 2026-09-14
- Grok 每天读他的书签,自动启动 Cursor Agent 做出可交互 demo — mattyp · 2026-09-14
- 开发者开源 Claude skills 仓库：把 LLM 变成创作伙伴配 Web 工作台 — jh3yy · 2026-09-14
- 5周A/B实测：OptMem对比Claude Code原生记忆，略优但腐化更隐蔽 — _rchaves_ · 2026-09-14
- DAIR.ai 创始人：日常工作用 Opus 5 与 GPT-5.6 混搭就够了 — omarsar0 · 2026-09-14