SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments
Tian Jin, Wenhao Wang, Jing Kang, Haoting Shi, Rui Ye, Yijun Lu, Siheng Chen
cs.MA, cs.SE
2026-10-09
多智能体流水线合成 182 个可运行桌面应用,只用合成轨迹训练 9B 模型,OSWorld Pass@3 从 41.39% 升到 56.97%。
训练 computer-use agent(在图形界面上替人干活的智能体,下文简称 CUA)需要大量真实软件里的交互轨迹,而环境本身成了瓶颈。现有两条路线各有卡点:在现有桌面和移动应用里合成任务与轨迹,软件是真实的,但把每个应用接进可复现的训练环境工程量很大,能覆盖的应用就那么多,反复在同一池软件上训练还容易过拟合到具体应用;在浏览器里造环境,部署和状态控制方便,但所有「软件」共享同一套 HTML/DOM 底座,交互深度和工作流复杂度上不去。
泛化要求环境同时满足三点:界面与交互多样、功能真的能跑通、能低成本扩张。SoftwareGym 的选择是不再依赖现成软件,用多智能体流水线从零造桌面应用。
流水线分设计、实现、评测三段,外加任务合成。
设计段,FunctionDesigner 把一句软件类型扩写成完整功能规格,每个功能记录为一份契约:入口、动作、预期状态变化、可见反馈、验收检查点。StyleDesigner 再在同一份规格上生成多个 UI 蓝图(Avalonia 框架),用两条硬约束防止「假多样」:任意两个变体的布局原型必须在导航、空间组织、对象浏览、动作放置四个维度里至少差两项;蓝图被解析成归一化布局树,两两算树编辑距离,最小值低于 0.60 就重生成最不独特的那个。换配色不算多样,控件层级结构得真的不同。
实现段,Coder 把设计包写成完整应用,DevCoder 对照功能手册审计源码。关键在评测段:测试用例生成器从功能手册出题,GUIAgent(Seed 2.1 Pro)在 Ubuntu 虚拟机里用鼠标键盘真点一遍,记录轨迹、检查点证据、失败位置,失败报告回传给 Coder 修,最多迭代三个版本。另有一项视觉保真度检查(阈值 0.80),防止修功能时把界面改走样。设计与实现主要靠 GPT-5.5 驱动的 Codex CLI agent 完成。
任务合成只基于通过 GUI 验证的功能建证据树,没测过的功能不许进任务;难度三档,靠功能组合与阶段依赖控制,而不是堆无关步骤。
应用库:182 个可运行应用、12 个类别,平均 GUI 任务通过率 91.5%(v1 为 54.9%,两轮修复后 81.1%、91.5%)。与 OSWorld 对齐的八个类别中,GUI 证据覆盖全部 49 个主要功能模块、78.8% 的具体功能。抽样 20 个应用,平均每个 237 分钟、1480 万 token、1718 次模型调用、约 70.76 美元。
训练侧,同一个 Qwen3.5-9B 底座,不同数据来源做 SFT:
| 训练数据 | OSWorld Pass@3 | SoftwareGym-Bench Pass@3 |
| 无(底座) | 41.39% | 25.8% |
| 仅 SoftwareGym 轨迹 | 56.97% | 40.0% |
| 仅 OSWorld 轨迹 | 61.48% | 33.3% |
| 两类混合 | 58.61% | 47.5% |
只用合成轨迹、训练里没有任何 OSWorld 数据,OSWorld 八个域全部提升,总分 41.39% 到 56.97%,已经略高于同表里的 GPT-5.5(56.56%),离 Seed 2.1 Pro(79.51%)还有二十多分。合成基准上,40.0% 超过 Qwen3.7-Plus 和几个 32B 级专用 CUA。
两个消融值得单列。风格设计约束把蓝图结构多样性从 4.9 拉到 83.6(百分制);去掉约束后,十二个类别每个都出现过布局树完全相同的「不同」设计。GUI 引导修复对比只看源码修复:同从 50.4% 起步,两轮后 83.1% 对 48.8%,后者低于起点,36 个应用全败。
这篇把环境从稀缺资源变成可量产的监督来源。对做 CUA 训练的团队,直接结论是:合成桌面应用的轨迹能迁移到真实软件,零真实环境数据换 15.6 分的域外收益,且与真实数据互补,混合训练在合成基准上最好。方法层面更通用的是修复消融:只看源码的自我修正不但没用还会倒退,运行时反馈才是可靠信号,这条对一切「模型写复杂软件再自我验证」的场景都成立。
也要说清,组件层面没有新东西,设计、编码、评测用的都是现成 agent 能力,贡献在把流水线拼起来并给每个环节配上硬验证门槛,再用消融证明门槛必要。
论文自己的数字就有留白:具体功能覆盖 78.8%,91.5% 的通过率意味着约一成用例到 v3 仍失败,对应功能被排除在任务合成外。功能基线来自「成熟产品」的理想化规格,真实软件的长尾行为、插件生态、异常路径写不进规格书,GIMP 或 VS Code 那种复杂度合成不出。所有应用都是 Ubuntu 上的 Avalonia 桌面程序,单一技术栈,向其他平台外推没验证。训练只做了 9B 一个规模、SFT 一个范式、一个 epoch,没有 RL,规模上去后收益是否保持未知。OSWorld 评测用八个应用域的 244 个任务,非全集。SoftwareGym-Bench 由同一批人从同一条流水线构造,域内评测的循环性无法靠内部对照消除。轨迹质量依赖两个 GPT-5.5 judge 的 0.8 阈值过滤。成本数字来自 20 个应用的抽样。