AutoEnvScaling: Automating the Data Flywheel with Terminal Agents
Simon Yu, Baolin Peng, Bo Liu, Zhengyan Shi, Zhaoyang Wang, Hao Cheng, Qianhui Wu, Wenlin Yao, Natasha Jaques, Weiyan Shi, Jianfeng Gao
cs.SE, cs.CL, cs.LG
2026-10-10
把 RL 环境设计交给 agent 在终端里完成,有效环境率最高升 25 倍;Qwen3.6 自造环境自训练,Terminal-Bench 2.1 涨 12.2 分。
Terminal agent(在命令行里敲命令干活的 agent)靠 RL 训练,而 RL 要吃大量多样、可验证的任务环境,这些环境至今主要靠研究员手搓。论文引述的业内报道说,有公司考虑每年在 RL 环境上投入超过 10 亿美元。环境还会折旧:agent 学会之后就没价值,得有人重新诊断短板、再造一批。供给速度等于人的速度。
已有的自动化方案有共同短板。流水线式合成把生成流程提前定死,任务池在训练开始前就固定;反馈式方法会执行生成结果再修补,但反馈怎么用仍是人工设计。两类都没让「怎么造环境」这件事随 solver 进化。
AutoEnvScaling 把环境设计变成一个 terminal 任务,让 proposer agent 把研究员的活全流程干一遍:
入池有两道关卡,跑在沙箱外、proposer 改不了。验证要求参考解拿满分、空解拿不到一半,外加 13-gram 去污染检查;校准要求当前 solver 多次试跑的平均奖励落在 0.250.75 且有波动,把题目卡在能力边缘。奖励设计很省:solver 拿通过的测试比例,proposer 拿三档(-1 / -0.25 / +1)。闭源模型当 proposer 不动权重,靠跨轮更新记忆和工具;开源模型一个策略分饰两角,用 DPPO 联合训练,两个角色分开算 advantage。
关键设计在「出题也是 terminal 任务」:造环境就是写代码、调试、跑测试,和解题用同一套技能分布,solver 的进步能迁回出题。这是自博弈实验成立的前提。
八个前沿模型上对比三种生成方式,取提升最大的 DeepSeek-V4-Flash:
| 生成方式 | 有效环境率 |
| Prompt | 3.5% |
| Prompt + 环境反馈 | 12.1% |
| AutoEnvScaling | 89.0% |
八个模型全部胜出,幅度最高 25 倍;单个有效环境成本八个里六个下降,最多降 75%。题目更扎实:solver 平均轮数从 33.8 涨到 47.2,通过率从 61.0% 降到 51.0%,更长更难。
RL 训练收益(held-out Terminal-Bench 2.1,avg@5,匹配训练步数;Tmax 是同一 proposer 生成的静态任务池基线):
| Solver | Proposer | Tmax | AutoEnvScaling |
| Qwen3.5-9B | GPT-5.6-sol | 27.2 | 33.5 |
| Qwen3.5-9B | Claude Opus 5 | 29.2 | 36.6 |
| Qwen3.5-35B-A3B | GPT-5.6-sol | 34.6 | 38.9 |
| Qwen3.5-35B-A3B | Claude Opus 5 | 35.5 | 39.3 |
去掉 workspace 里的 solver 轨迹,35B 掉 3.66.7 分,基本回到 Tmax:涨分主要来自 solver 反馈驱动的课程。
自博弈:Qwen3.6-35B-A3B 同时演两个角色。底模出题有效率只有 32.3%,先用 600 条高质量出题轨迹冷启到 86.8%,然后自产环境、自训练、用新权重出下一轮题。Terminal-Bench 2.1 从 41.1 到 53.3(+12.2,比 Tmax 高 6.1);Terminal-Bench 4.0 从 1.6 到 3.2,课程并未针对 4.0 设计。去掉 proposer 侧训练,训练直接崩掉。可用 rollout 组比例是 Tmax 的 3.1 倍,每步收集 rollout 平均省 42% 时间。
另外两组:训练「何时问人」时,Claude Opus 5 生成的 500 个信息不全任务让 Ask-F1 从官方任务训练的 29.6% 升到 55.3%、任务成功率从 6.8% 到 33.9%,前沿模型在这两项最高只有 14.4% 和 7.5%;跨域生成覆盖软件工程、桌面操作、GPU kernel 等七个域,1489 次生成验收率 71.3%,但没有下游训练验证。
Agent 后训练的瓶颈正从算力挪向可验证环境供给,这篇证明课程能自动跑在 solver 能力前沿、随训练滚动更新。对从业者,最实际的数字是 3.1 倍可用 rollout 比例和 42% 的收集时间节省,RL 预算里被零信号 rollout 烧掉的部分能省下来。闭源模型靠 harness 优化就能进轮当 proposer,不依赖权重开放,这条路径现在就能照抄。自博弈那组是没有更强教师在环的 RSI 小规模演示。
作者列了四条:更长训练后增益是否延续未验证;Terminal-Bench 4.0 仍只有 3.2 分,长视野任务没解决;通过验证不等于环境正确,参考解和空解两道检查覆盖面小,测试可能漏掉错解或误杀正解;跨域只证明能生成能验收,没做训练收益。
读下来另有几处要泼冷水。成本结论有选择性:两个最强 proposer 的单个有效环境成本实际是升的(Claude Opus 5 为 1.18 美元、GPT-6-astra 为 2.75 美元,高于 prompt 基线的 0.72 和 1.79),降 75% 是最弱模型的个案。自博弈不是从零启动,600 条冷启轨迹和入池关卡都是外部输入。验证环节的 harbor check 由 proposer 同款模型审题,写题与审题同源,共享的盲区查不出来。有效环境率只测「能构建、参考解过、空解不过」,任务质量和多样性没有直接度量。