Scale AI 1200+ 次训练对比 PPO 与 GRPO:小 batch 用 critic,大 batch 可省掉
heghbalz · x · 2026-11-11
Jason Wei 等人在 Scale AI 发布新研究《To Critic Or Not To Critic》,系统对比基于 critic 的 PPO 与无 critic 的 GRPO 在强化学习中的取舍。
核心内容:
- 在统一 actor 目标下,跨控制任务、短 horizon 数学、长 horizon 终局 agent 三类场景做了 1200+ 次训练(其中 96 次用 LLM),考察 batch size、critic 依赖度与任务复杂度三个因素
- 结论:没有普适答案——小 batch 时 PPO(critic)通常更优;大 batch 时 GRPO 往往反超重度 bootstrapping 的 PPO,并与轻度 bootstrapping 的 PPO 打平
- horizon 越长、任务越复杂,GRPO 需要更大的 batch 才能追上 PPO
- 计入训练算力后,critic 在小预算下划算,预算越大回报越递减
对做 agentic RL 的人是很实用的选型参考:rollout 变贵、任务变长时,该不该养一个 critic 取决于 batch 与预算。
「研究」频道最新
- METR 回应质疑:AI 提速结论基于大量未公开数据 — peterwildeford · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 前 Astra 成员创业做 real2sim2real：机器人仿真光『看得真』不够 — abhishekunique7 · 2026-11-11
- 开源进程推进个性化胰腺癌疫苗:34 岁患者数据全公开征集专家意见 — jajoosam · 2026-11-11
- Ross Girshick 发布 CVPR 演讲幻灯片:复盘十五年目标检测史并衔接 LLM — CatAstro_Piyush · 2026-11-11
- KAIST 发现记忆会让 Agent 翻车，WikiTrace 用证据链接降 10.7 分差距 — dair_ai · 2026-11-11