NVIDIA 开源 FlashREINFORCE:无 Critic 单_rollout 异步 RL 框架,稳定 6000 次更新
inductionheads · x · 2026-09-14
NVIDIA 研究团队发布并开源 FlashREINFORCE,一个面向智能体语言模型的无 Critic、单 rollout、异步强化学习框架。
- 动机:长程智能体的 rollout 时长不均(工具调用、环境交互),组相对方法(GRUPO 类)需要同一 prompt 多个 sibling rollout,既浪费预算又引入同步屏障。
- 三个核心组件:One-Batch REINFORCE(每 prompt 只跑一次 rollout,用 token 重要性采样修正过期行为)、Sequence Trust Region(控制累积策略漂移)、Sample-Mean Optimization(防止长失败轨迹主导优化)。
- 结果:据称是首个开源的无 Critic、单 rollout 异步 LLM RL,实现 6000+ 次稳定更新。论文、代码、项目页均已公开。
所属事件:NVIDIA 开源 FlashREINFORCE 异步强化学习框架(4 条相关)→
「编程与Agent」频道最新
- 开源 Element Forge：ComfyUI 里可编辑的实拍视频 AI 特效 — zitroffell · 2026-10-30
- Gym-Anything 引入审计 Agent,专门用合法动作破坏环境找错 — wellecks · 2026-10-30
- CMU 用 Agent 自动造 200+ 软件环境,Gym-Anything 拿 GDP 数据选题 — wellecks · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 两分钟面试法：用一条 prompt 让 Grok 帮你搭两个定制 bot — nateliason · 2026-10-30
- Cursor、Harvey 为何自训专用模型：多数细分市场养不起专属大脑 — MartinGTobias · 2026-10-30