Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
Zhaoyang Wang, Qianhui Wu, Haorui Wang, Simon Yu, Baolin Peng, Canwen Xu, Hao Cheng, Wenlin Yao, Boyi Liu, Yite Wang, Jianfeng Gao, Huaxiu Yao
cs.AI, cs.CL, cs.LG
2026-10-20
WildAWM用开源模型合成341道跨GUI、MCP、命令行的长程任务，GPT-6-Astra在验证集上只通过59.85%。只在这些世界训练的Qwen3.6-35B，八项外测平均从42.84升到53.42。
电脑使用智能体靠在环境里试错来涨本事。真人示范贵，天花板还是示范者本人。真实系统里乱探索更不划算：状态重置困难，网站会变，误操作可能闯祸。手工环境能评分，但扩不大。已有合成管线通常锁定单一界面，浏览器、工具调用和终端分开做。
WildAWM（微软研究院、UNC 等）合成的是一台个人电脑。网页、MCP 服务和本地文件在同一个可重置状态里。环境和题目的生成都由开源模型完成。
世界从人设里长出来。OpenCode 中的 GLM-5.2 先写职业、联系人、常用站点和跨天事务，与已收录人设过近就重写。第 d 天的计划必须先看到第 d-1 天的磁盘状态，邮件和文件顺着昨天继续。
活动匹配到技能库。每个技能规定接口、数据库和文件要怎么改。缺技能或缺的 MCP 服务会现场写好，放回库里复用，库里最终有 83 个技能。脚本须能原样重放两次。图形页面用 WebHarbor 的 15 个镜像站（含 Amazon、GitHub、Coursera），合成数据叠在上面。36 个人设做出 640 个世界状态、8 类 MCP。状态中位约 5.24 万 token，CUA-Gym 按题注入的状态中位约 1100 token，最近邻余弦距离 0.25 对 0.20。
每题必须同时用到 GUI、MCP 和 CLI。GUI 点选页面，MCP（Model Context Protocol，把服务包成工具的协议）读写邮件和数据库，CLI 写脚本并执行。文中 XAI 指这种跨界面流程。验证器看初始状态、终态和最终回答，清单项全部为真才算过关。
每题 6 条轨迹，一半带提示。模型是 GLM-5.2、DeepSeek-V4-Flash、MiniMax-M3，支架含 OpenCode、Codex、Claude Code 和三个 claw 框架。五道门：不动也必须判失败；至少一条成功且三种接口都用到；三条无提示轨迹成功不超过 1 次算难、2 次算中等、3 次打回加难；程序验证器、语义评判、进环境检查的 agent judge 在六条轨迹上全部同结论；塞一个相反结论给 agent judge，改口就丢。最多返工两轮。
草图 2551 个，留下 341 题，多样性门之后通过率约 53%。难题 273，中等 68。无提示成功率 21.3%，有提示 45.6%。平均 4.2 个子任务、3.1 次换界面，74.5% 会折返到用过的界面。步数中位 74，长的超过 100 步。
强化学习用 GRPO。全过得 1 分，否则另给 0.1 倍的清单通过率，上限 1。格式错误得 -1，梯度只在出错步。整组没有奖励差异且全是格式错误时，优势为 -1/sqrt(K)。100 题拿 GLM-5.2 轨迹监督 3 个 epoch，208 题做最多 64 步、每步 8 题、每题 4 条采样，33 题留作域内测试。
两个 Qwen 只在这些世界里训练，八项分布外测试全部变高。表内模型都用 OpenCode。O2W、WebArena、ClawEval 是通过率，其余是平均分。
| 模型 | 八项平均 | 对照 |
| Qwen3.5-4B | 30.04 | 基座 21.83，+8.21 |
| Qwen3.6-35B-A3B | 53.42 | 基座 42.84，+10.58 |
| GLM-5.2 | 63.21 | 监督轨迹的老师 |
| GPT-6-Astra | 73.11 | 同表最高 |
35B 提升最大的四项：ClawEval 38.00→54.67（+16.67），OSWorld-Verified 33.16→49.22（+16.06），WebArena 53.54→67.26（+13.72，与 GLM-5.2 持平），CUA-Gym 的 200 题子集 53.73→65.95（+12.22）。Online-Mind2Web 69.60→80.77，超过 GPT-5.5 的 72.22，低于 Opus-5 的 96.60。QwenClawBench 只涨 3.58，ALE 只涨 2.74。与 GLM-5.2 的均分差从约 20 分缩到约 10 分，与 GPT-6-Astra 仍差约 20 分。
4B 的分主要加在 Online-Mind2Web（+19.26）和 CUA-Gym 子集（+15.96）。OSWorld 2.0 从 0.87 到 1.03，ALE 从 7.00 到 8.96，长程桌面几乎停在原地。
域内 33 题上，GPT-6-Astra 的 pass@1 是 59.85%，8 次里仍有 27.3% 的题一次未中。训后 35B 为 35.98%，老师 37.88%，基座 5.68%；4B 从 0.38% 升到 27.65%。验证器与 judge 多数意见在 100 条轨迹上一致率 95%，κ 为 0.90。
去掉任意质量门，4B 监督模型四项平均掉 2.60 到 9.30。去掉判分一致或初始约束，域内分落到 3.79 和 3.05。35B 去掉热身从 53.42 掉到 48.11，大于去掉部分分的 2.25 和去掉格式惩罚的 1.24。
换界面的比例从基座 18.4% 到监督后 24.7%，加上强化学习后 25.5%。只拿基座自己的成功轨迹来训，比例降到 15.8%；无热身的强化学习降到 15.7%。40 步内，监督和完整方法差不多（34.9% 与 36.8%）。40 到 120 步，监督再加 9.7 个点，完整方法加 17.0，120 步内解出 53.7%。
环境是智能体强化学习的紧缺原料。表里其他合成工作多用 GPT-5、Opus、Gemini、Sonnet 来生成，且很少同时覆盖点击、工具和命令行。WildAWM 用开源模型交出 341 道有程序奖励的长题。
八项全涨，收益跨出了合成集。35B 在 WebArena 上追平用作老师的 GLM-5.2。学习规则仍是 GRPO。跨界面是从 100 条老师轨迹模仿来的，强化学习补的是 40 步之后那一段。4B 在 OSWorld 2.0 上接近 0 分，世界再多也补不上容量。
外测按前沿模型的解题率分四档，涨幅集中在中间两档，+19.9 和 +12.2。最难一档没有明显长进。域内验证上，训完的 35B 贴着老师：35.98% 对 37.88%，离 GPT-6-Astra 的 59.85% 还远。约 60% 这个数字来自 33 题验证集，全量 341 题没有逐题公布。
八项平均把通过率和连续分加在一起。WebArena 评 226/812，CUA-Gym 抽 200/10910，OSWorld-Verified 用 99/330，ALE 用 Linux 上 99 题。不能看图的策略把截图交给 Qwen3.6-35B-A3B 转成文字，4B 的界面分因此借了更大模型的视觉。评测裁判用的是 GPT-5.5，合成阶段的开源范围没覆盖到裁判。开源模型另做了 NVFP4 量化。
95% 一致率建立在验证器必须先和 judge 一致这条门上。反事实探针只惩罚会改口的 agent judge，三方同时判错时照样通过。GPT-5.6-Sol 与 Opus-5 的 κ 为 0.79。质量门的消融只做了 4B 监督微调：去掉可解性门，O2W 升到 44.87，高于完整流程的 38.49；去掉探针，OSWorld-Verified 为 24.09，高于 17.17。
178/341 题来自最先磨管线的 6 个人设。单题约 6980 万 input token。网页画面是现成镜像。没有人评过这些世界像不像用了多天的电脑，也没有结果说明训完之后在真实系统里更少闯祸。