腾讯混元扩展 critical-batch-size 理论:GRPO 训练提速 29%,PPO 生成吞吐达 2.29×
TencentHunyuan · x · 2026-09-24
腾讯混元团队发布新研究,把经典的 critical batch size 理论扩展到在线 LLM 强化学习场景——模型自产训练数据,rollout 生成与训练的扩展规律不同。关键发现:
- 在 GRPO 与 PPO 上,通过重调学习率,可在有限 batch size 范围内保持每条 response 的学习量。
- 固定硬件下,batch size 增大可使 PPO 生成阶段吞吐提升最高 2.29×。
- 最优 GRPO 配置达到相同验证指标的时间缩短 29%。
研究对大规模 GPU 集群 RL 训练的效率优化有直接参考价值。
所属事件:腾讯混元研究：扩大批次可显著加速 LLM 强化学习(3 条相关)→
「Infra」频道最新
- 推理芯片公司 Fractile 融资 7.2 亿美元，Thrive 与 Founders Fund 领投 — Tom_Westgarth15 · 2026-11-12
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12