AutoGym: Blueprint-First Generation of Verifiable Agent Gyms
Aarati Andrea Noronha, Kavya Ravikumar, Carly Xiaoyu Lin
NeurIPS 2026 Workshop: Who Veri
cs.AI, cs.LG, cs.MA
2026-09-19
Amazon AGI提出AutoGym：先写解答蓝图再生成可执行环境与验证器。生产力C2下Opus 4.6难题占39%，高于人工套件21.5%与AWM的4%。
给语言模型当 agent 做强化学习，卡住的经常不是算法，是 gym：任务说明书、能跑的环境、能分清对错的验证器。WebArena、OSWorld、SWE-bench 这类人工套件质量高，但写完就冻住。模型变强以后任务饱和，污染风险也跟着上来。
用 LLM 一遍生成能扩规模，难度却经常只写在措辞上，同类模型照样解得开，对错还得事后交给带位置偏差和冗长偏好的 LLM judge。Agent World Model 一类系统已经会生成环境，顺序仍是先出题、再检查环境里有没有可验证的解。Amazon AGI 的 AutoGym 把施工顺序倒过来：先把合法解空间钉死，再去造世界。
输入是一条领域种子（平台设定加工具 schema），也可以是已有失败轨迹。先写 blueprint，白话就是施工图：哪些实体和关系构成合法解、环境必须提供什么、验证看哪些约束。图过完对账，确认该藏的信息在环境里找得到、工具接口撑得住这条解，才物化成可执行迷宫。可解性和可验证性是开工条件。
难度旋钮和领域脱钩，同一套工具也能从浅检索拧到跨源对账：
物化之后的 ground truth 是拿蓝图推导在真实表上跑出来的，不信生成阶段随口报的数字。确定性结果用程序比对；开放式部分拆成 process judge、outcome judge，再由 meta-judge 合成 0 到 1 的奖励。课程看各维成功率：低于 0.30 放松，高于 0.80 加码，更新有界以免振荡。
采购问句只说「亚太供应商这季度是不是达标」，不给字段、不给阈值。环境有 800 行交货日志、200 条政策，走解路径得到准时率 81.25%、阈值 90%、未达标。干扰包括区域中途改挂、旧品类名、另一条 85% 的 fill-rate 政策，以及分页每次 50 行、相关记录 96 条。agent 必须自己把这些滤干净。
生成用 Claude Sonnet 4.6。被测 agent 只看见用户任务和物化环境，看不见蓝图。每条任务 8 次独立 rollout，按平均 verifier 分档：hard 低于 0.30，medium 为 0.30 到 0.80，easy 不低于 0.80。
生产力 gym，同一套 7 个工具：
| 套件 | Opus 4.6 hard | gpt-oss-120b hard |
| 人工专家，N=300 | 21.5% | 40.0% |
| Agent World Model，N=217 | 4.0% | 9.0% |
| AutoGym C1（偏易），N=297 | 10.0% | 33.4% |
| AutoGym C2（偏难），N=280 | 39.0% | 70.0% |
C1 和 C2 只改拓扑权重、模糊度和干扰预算。C2 把 Opus 的 hard 带从人工套件的 21.5% 推到 39%，AWM 则 90% 落在 easy。对 gpt-oss-120b，C2 有 70% 是 hard，Opus 仍有 61% 落在 medium 或 easy。难度在拉开能力，没有变成对谁都噪声。
修复会改写「有多难」这笔账。C2 修复前 350 条里 57% 看起来 hard；三轮之后留 280 条，hard 降到 39%，easy 从 30% 升到 51%。相当一部分难，来自环境或验证器坏了。保留率 C1 为 84.9%，C2 为 80.0%。
第二条线从 gpt-oss-120b 的失败轨迹起步，对准相对日期、时区、日程重叠，留下 92/100 条时间推理任务。Opus 89.2% easy；弱模型有 41.4% 落在 hard 或 medium。Opus 未进 easy 带的 10 道题，对弱模型全部是 hard，没有反向更难的题。
七维认证（0 到 100）里，生产力 gym 范围合规 92.7、落地性 91.4，最弱是接口真实感 78.0。附录称六个域 600 条不到 10 小时；50 条一批 20 路并行约 100 到 200 美元、54 分钟。人工估算每条 500 到 1000 美元、1 到 1.5 小时。8B 模型在 600 条 instruction-following gym 上跑 500 步 GRPO，奖励曲线上升，论文未给出起止分数。
agent RL 的瓶颈已经挪到可验证环境。AutoGym 给出能拧难度、能跟着弱点长任务的流水线，按论文估算成本大约低两个数量级、墙钟大约快 100 倍。适合内部生产力工具、表格和文档检索类 agent，以及要把某一能力轴压到模型舒适区边缘的数据生产。
工作本身是渐进的。灵感写明来自 Agent World Model，增量是把「先有合法解再物化」做成硬约束，并露出可调参数。没有和 SWE-Gym、WebRL 对比训练后的下游增益，GRPO 也停在单模型和 500 步。这是 NeurIPS 2026 的 workshop 论文。能当评测与数据工厂，还撑不起「自动造出下一个 OSWorld」这句话。
论文自己点了四条。接口真实感 78.0，因为工具是 mock、每任务一份库、schema 被简化。环境真实感 86.0，干扰项嵌得不自然。开放式任务仍要 LLM 做语义判定。云仿真器只证明能物化，难度和模型区分度没测。RL 只覆盖 8B、500 步。
认证分同样是 LLM judge 打的，和少用事后裁判的主张有摩擦。AWM 300 条人工审完只留 217 条，AutoGym 靠自动修复保留，对比不完全对称。时间推理套件对 Opus 已经 89% easy，课程打的是弱模型的洞，不是给前沿模型持续加压。落地性高分部分来自内部语料和网页检索，外部复现拿不到同等种子。