AutoGUIWorld: Image Generators as Visual World Models for GUI Agent
Cheng Yang, Yifan Wu, Yutao Huang, Zhaohua Zhang, Beiduo Chen, Muxi Chen, Chenchen Zhao, Hexuan Deng, Haolin Yang, Geyuan Zhu, Sa Zhu, Jianhuan Zhuo, Qiuyong Xiao, Jianhao Ruan, Yiran Peng, Jiayi Zhang, Tian Ye, Xinlei Yu, Tianwen Jiang, Jihong Zhang, Yuyu Luo
cs.CV
2026-10-01
planner 定动作、图像生成器逐帧改截图,免部署软件合成 79,266 条 GUI 轨迹;微调 Qwen3.5-35B 后 OSWorld 33.0→40.8,ScienceBoard 14.0→32.2。
GUI agent 的训练数据卡在环境上。人工演示、自动探索、从教程和录屏里提取,主流采集方式都要求软件真实装在机器里跑得起来。想覆盖专业软件就更贵:CAD、电子设计、科学计算工具各有依赖、runtime 和初始化流程,有的还有许可证和账号门槛。在一个已部署环境里多采轨迹,只能加深已有工作流的覆盖,补不上缺失软件的交互。
生成是自然的出路,预训练图像生成器握着大量界面的视觉先验。但画得像不等于转得对:点开一个对话框,背后的文档应原样保留;改一个输入框,无关内容不该跟着变。合成截图还要配上动作坐标,否则没有空间监督。这篇要验证的是,任务规划加上逐步质检,能不能把图像生成器变成可用的 GUI 数据引擎。
形式化上,GUI 交互被建模为 POMDP(部分可观测马尔可夫决策过程):agent 看不到文件系统和应用内部状态,只看得到渲染出来的截图。AutoGUIWorld(混元 AI 数据团队)抓住这一点,直接建模观测级转移,也就是给定历史和动作后下一张截图的分布,不去重建底层系统。图像生成器只需要画对下一帧,不需要模拟操作系统。
生成分两层:
前置环节同样结构化。初始场景从三个因子采样:OS 底座(系统类型、屏幕几何、action space)、视觉外观(主题、壁纸、字体密度)、界面状态(窗口布局、前台应用、可见控件)。Image2 先把规范渲染成种子截图,任务生成器再基于种子写指令,先定屏幕再定任务,避免任务引用屏幕上没有的应用。指向类动作由 LocateAnything 在动作前截图上定位目标区域,取区域中心作为坐标标签;最后用 VLM 审计过滤有缺陷的转移。
分工是整个设计的支点:planner 决定下一步发生什么,Image2 决定界面长什么样。语义与视觉解耦之后,通用图像先验才可能被放进正确的位置。
全流程产出 79,266 条带坐标的步级样本:Chrome 35,209(44.4%)、Ubuntu 24,250(30.6%)、Windows 14,778(18.6%)、macOS 5,029(6.3%)。在这批数据上微调 Qwen3.5-35B-A3B 得到 AGW-35B:
| Benchmark | 基座 | AGW-35B | 提升 |
| OSWorld(mean task score,n=361) | 33.0% | 40.8% | +7.8 |
| Windows Agent Arena(n=154) | 19.4% | 27.9% | +8.5 |
| macOSWorld(n=231) | 28.1% | 45.0% | +16.9 |
| ScienceBoard(n=143) | 14.0% | 32.2% | +18.2 |
| ScreenSpot-Pro 定位准确率(n=1,581) | 31.7% | 57.1% | +25.4 |
四项交互 benchmark 等权平均从 23.6% 升到 36.5%。与 AgentNet 的对照里,AGW-35B 用约 8 万合成样本,在四个 benchmark 上全部超过同底座、用 35 万人类演示样本训到最佳 checkpoint 的模型,ScienceBoard 差距最大(32.2% 对 16.8%)。
数据质量侧:在 Qwen 视觉 token 空间算 MMD,合成与 ScaleCUA 的距离是真实数据集间变异的 0.59 到 1.24 倍,基本同量级;内容匹配的文本和图标局部 patch,来源判别 AUC 在 0.44 到 0.57,接近随机。OmniParser 检出的可交互元素覆盖率在全部 12 组域-阈值对比中高于 ScaleCUA,Windows 域在中档阈值下高出约 66%。
并非全绿:35 个细分域里 25 升、7 平、3 降。OSWorld 的 Chrome 域从 39.0% 掉到 26.0%,WAA 的 Chrome 掉到 0.0%,macOSWorld 的 Safety 降 3.4 个点。
对做 GUI agent 数据的人,这套方法把扩张成本从「部署和维护软件环境」换成「图像生成的推理开销」。专业软件不装也能进训练分布,而以专业科学软件为主的 ScienceBoard 恰好是四项里涨幅最大的,18.2 个点。
8 万合成压过 35 万人类演示(在该对比设置下)是更重要的信号:决定 agent 学到什么的是环境多样性加动作接地的质量,不是像素是否来自真实机器。这个判断对数据团队的预算分配有直接影响。
也要说清幅度:OSWorld 上 7.8 个点是四项交互 benchmark 里最小的绝对提升,这篇的价值在覆盖与可扩展性,不在单项分数。
作者自己审计了转移保真度:42,526 个可评估的桌面转移里,VLM 标出 3.04% 的动作与画面不一致;剔除无效动作、缺失目标和错误 grounding 后仍剩 2.08%。错误集中在打字、拖拽、滚动和键盘操作,包括命令替换、编造文档内容、过早格式化和动作效果缺失。长轨迹上误差会累积,论文承认可能出现幻觉界面状态。
读下来另有几处存疑。渲染出的终止状态几乎全部标记成功(rollout failure 最高 0.68%),模型只见过成功路径,没有失败与恢复的经验,Chrome 域的掉分可能与此有关。与 AgentNet 的对比两边推理设置不同,AgentNet 开 thinking、AGW-35B 不开,「合成超过真实」要打折看。C2ST 分类器以接近 1.00 的 AUC 区分合成与真实,DINOv2 特征下 Ubuntu 域的差距超出真实数据集间变异范围,分布残差实打实存在。轨迹结构分析一节也没有 matched 真实轨迹的元数据可比。