美团发布 AutoRL:多智能体督导 RL 训练,AIME 提 20 分

AutoRL: A Multi-Agent System towards Autonomous Reinforcement Learning

Simon Tang, Wenjie Shi, Yongjing Yin, Keheng Wang, Jialin Liu, Zheng Zhang, Linvo Lin, Xiangyuan Xue, Kan Ren, Jingang Wang, Xunliang Cai

cs.AI, cs.LG

2026-11-13

多智能体系统 AutoRL 在 RL 训练进行中在线诊断修复,Qwen3-4B 九项基准全部超过静态配方,AIME24 提升 20 分。

这篇在解决什么

RL 训练从来不是配好超参就能撒手的事。策略一变,生成数据的分布跟着变;分布式跑法叠加数值和工程故障;判分规则写错的 grader 能让训练前期正常、后段持续掉点。现有自动研究 agent 多按「跑完一个实验、看结果、再定下一个」组织,人类 RL 研究员却在训练进行中就动手:reward 一怪就去翻样本修 grader,平台期拖久了就重审配方。AutoRL(美团联合港中文、上海科大、复旦)把这种过程级督导交给多智能体系统,论文将其定位为 recursive self-improvement(递归自我改进,RSI)路线上的基石组件。

方法

系统把 RL 研究员的职责拆成三类角色,各自独立上下文,靠共享记录协调:

拆角色有两个动机:监控要高频快响应,研究要长时间深分析,塞进同一个上下文会互相挤占;验证 RL 假设烧 GPU,所以便宜检查(代码审查、轨迹重放)前置到提议阶段,GPU 只留给通过审查的干预。

结果

基线是写死后不变的 GRPO 配方(当前 LLM RL 的主流算法)和同一个 gpt-6.1-sol 驱动的原生 Codex 通用 agent。

设置对照指标结果
Qwen3-4B 数学(DAPO-Math-17K)静态 GRPOAIME 202446.67% → 66.67%(+20.00)
Qwen3-4B静态 GRPO、通用 agent九项 benchmark全部超过两个对照
Qwen3-4B 平台期实验自身平台期最高分评测准确率29.74% → 41.58%
LongCat-Flash-Lite 缺陷配方不修的 GRPO数学评测73.16% vs 56.05%
LongCat coding-agent,14.7 天起点模型SWE pass@152.29% → 峰值 65.13%

三个实验最能说明问题。缺陷配方实验:LongCat-Flash-Lite 用简化 grader、无 KL 正则训数学,静态配方从 65.53% 掉到 56.05%;AutoRL 在 64 步内做 6 次热更新,4 次修 grader(选项映射、多值匹配、LaTeX 解析、单位归一),2 次把 KL 系数从 0.001 提到 0.01,最终 73.16%,拉开 17.11 分,全程无重启。

平台期实验:Qwen3-4B 前 100 步不动配置、只收集证据,还主动推迟了一个证据不足的 entropy 提案;之后从 checkpoint 100 冷恢复修 grader 选项绑定,把 entropy 系数从 0.001 逐步提到 0.004,给满足严格循环判定的错误回答加 -0.02 惩罚。135 步首次越过平台期,180 步到 41.58%,比平台期最高分高 11.84 分。

14.7 天 coding-agent 长跑:28×8 卡异步训练,11 次故障(7 次 NaN、1 次 dtype、3 次 worker 或通信故障)全部从 checkpoint 恢复;AutoRL 主动收紧 log-ratio 裁剪([-13, 5] 到 [-5, 3])、把学习率从 5e-6 降到 2e-6、MoE 部分开 FP32 累加,开 FP32 residual 引发新 dtype 故障后只回退这一项、保留其余调整。SWE pass@1 峰值 65.13%,终点 63.20%。

同预算 273 步对通用 agent:41.58% 对 32.11%,131 个候选对 21 个,干预撤销率 20% 对 50%;通用 agent 44.7% 的步数花在回滚重训上,AutoRL 零回滚,撤销全走在线控制、模型和优化器状态原样保留。换 glm-5.2 当督导骨干,峰值掉到 32.89%,仍高于通用 agent。1.7B 规模对静态配方八胜一平,通用 agent 在 AIME 2024 反超 1.67 分。

为什么重要

RL 训练的人力成本大头是盯盘:半夜的 NaN、悄悄发生的 reward hacking、拖很久才发现的平台期。这篇证明现有 LLM agent 配上角色分工和专用工具,能接住大部分盯盘和局部修复,14.7 天无人值守、11 次故障自愈是最硬的证据。HOT/COLD 双通道、证据审查加 Borda 表决,这套工程蓝图可以直接抄。边界同样清楚:全部增益来自调参、修 grader、局部 reward 改写,是工程整合的胜利,没有新算法。

局限与存疑

作者自己承认得很直白:131 个候选里 110 个(84%)在修判分和数据,3 个重新设计学习规则的提案全部没能落地,他们没有观察到概念性跃迁,并把这称为通往 RSI 的主要未解难题。换 GLM-5.2 骨干峰值掉 8.69 分,系统上限被督导模型能力卡住。论文未报告多 seed 方差,而 Qwen3-4B 的 MBPP 绝对值只有 6.79%、1.7B 的 LiveCodeBench 只有 2.00%,小分母 benchmark 上几个点的差距噪声不小。AIME +20 分的对照是静态配方,不是人类反复调优后的最强配方。督导用 gpt-6.1-sol 和 glm-5.2,这部分 token 成本论文没有披露。

术语

原文与代码

社区讨论

相关论文

全部论文解读