修软件先得会用软件:CUA-SWE 测出 GUI 权限值 48.6 个百分点

CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering

Prince Zizhuang Wang, Chenhao Liang, Zelong Xu, Aojie Yuan, Xiaolin Zhou, Haiyue Zhang, Yue Zhao, Xiyang Hu, Shuli Jiang

cs.AI, cs.SE

2026-09-26

CUA-SWE 用 105 个四域任务要求 agent 边改代码边操作运行中的软件;GPT-6-Astra 加 GUI 访问后成功率从 11.3% 升至 59.9%。

这篇在解决什么

开发带界面的软件,写代码只是一半:写完要跑起来、点两下、盯着渲染结果看,再决定下一处改哪里。现有评测把这件事劈成了两半:SWE-bench 一系只考「给 issue 改仓库」,OSWorld、AndroidWorld 一系只考「在现成应用里完成点击任务」,中间那段「跑软件、看界面、连回代码、改完再验」的完整开发循环没人系统测。论文 intro 的例子很典型:平台跳跃游戏里角色跳上平台会穿下去,构建能过,静态截图也看不出问题,agent 必须真的玩一段、看到坠落、对应到碰撞代码,改完还得重跳一次确认修好了。还有更刁钻的一类任务:需求规格本身只存在于运行中应用的界面里,比如一张导入的机械图纸、一份只显示在屏幕上的服务合同,不看像素连题目都读不全。

方法

CUA-SWE 出自 CMU、USC 等团队,是 benchmark、交互开发环境和评测管线三件套。

• 105 个任务,四个域:Web 36、Game 29、DevOps 20、Mobile 20,取材自开源应用或按受控行为定制的应用。
• 每个任务给 agent 一份可编辑项目加一个运行中的应用。动作空间是编码动作(读改代码、跑命令)、电脑使用动作(截屏、鼠标键盘)加一个提交动作的并集,两类操作可以在同一回合里自由切换。
• 两种对照条件共享同一套指令和保护测试:code-only 只有 CLI,可跑构建、测试、自定义脚本,连开发服务器和 HTTP 都不许碰;hybrid CUA 额外给截图和图形交互,但观察接口同样只有像素,DOM 读数、无障碍树、浏览器脚本执行一律禁用。
• 判分与轨迹无关:确定性验证器在干净环境里重建应用、打上提交的补丁、跑任务专属测试,同时查三项:要求的行为是否实现、指定旧功能是否回归、改动是否越权。
• 出题流程是 LLM 辅助加三道闸:人工审查、可执行校验(原始坏代码必须挂、金标准补丁必须过)、负样本补丁必须被拒。负样本是「貌似合理的半吊子修法」,专门用来确认验证器不会误放行。
• 每个任务标注规格来源:S(source-specified,需求写在指令和源码里)或 M(application-material dependent,部分需求只能从界面材料读出)。105 题里 M 占 63 个。

一处关键设计:评测可以读应用的特权内部状态(比如直接查游戏棋盘数据),agent 只能看到源码、命令输出和截图。判分因此可复现,又不向 agent 泄题。

结果

单次尝试的任务成功率(Table 1,单位 %):

• GPT-6-Astra 四域 hybrid 均值 59.9%,领先第二名 GPT-5.6-Sol 17.7 个百分点,且四个域的 hybrid 单项全部第一。
• 参与四域对比的八个前沿模型,加 GUI 访问后总分全部上涨;GPT-6-Astra 涨幅最大,code-only 均值 11.3%,hybrid 59.9%,差 48.6 个百分点。
• 涨幅集中在 M 任务:S 子集上两种条件的域均变化接近零,模型间波动却很大。GUI 的增益主要来自「从界面里拿需求」,「看反馈辅助调试」的价值在均值上没有体现。
• 稳定性:Game 域三次独立尝试里,GPT-6-Astra 有 34.5% 的任务三连过,GPT-5.6-Sol 只有 3.4%。
• 效率:与 Grok-4.6 共同解出的 Web 任务上,GPT-6-Astra 在 83.3% 的任务里用更少的回复数收工(对 Claude-Opus-5 为 72.2%);平均单集耗时 4.3 分钟,GPT-5.6-Sol 是 3.7 分钟。
• 后训练信号:Qwen3.8-27B 在 Web 域按 27/9 划分做 SFT,native-verifier 通过率从 11.1% 升到 33.3%(单次贪心尝试,patch 正确率口径)。

为什么重要

这是第一个把 coding agent 和 computer-use agent 放进同一回合、判分又完全确定性的跨域测试床。最接近的先行工作要么只覆盖单一域(前端 JS、游戏),要么用 agentic judge 主观打分,可复现性差一截。对做 agent 产品的人,这组对照数据有直接含义:agent 维护的是有 GUI 的软件时,只给 terminal 在 DevOps、Mobile 这类任务上几乎等于交白卷,因为全员 code-only 接近 0 分。每个任务自带可执行验证器,顺手就是现成的 RLVR reward 环境,论文已把 objective 和 rollout 接口规划进附录。

局限与存疑

论文自己列的:SFT 只是从金补丁回放数据里得到的初步信号,学到的更多是复现参考修复;RLVR 还没做,长多模态轨迹的稳定优化和 credit assignment 都悬而未决;四域覆盖也待扩。读下来另有几处要打折扣:

• +48.6 个百分点的 headline 有结构性成分:M 任务的规格在 code-only 条件下根本拿不到,hybrid 优势部分是题目设计使然。论文也承认这组对照测的是「在给定访问条件下完成任务」,引用数字时应拆开看。
• 105 题偏少且家族集中:Mobile 20 题里 9 题是同一 wall-chart 调度家族的变体,Game 29 题来自 12 个游戏,域内得分对家族构成敏感。
• 轨迹校验会把「没按要求截屏」的回合记零(Web、Mobile 强制要求),个别 hybrid 分数因此混入合规因素。Claude-Sonnet-5 在 Web 域 hybrid 为 0.0、code-only 反而有 8.3,论文未展开解释。
• 出题靠 LLM 加人工审查,负样本补丁只覆盖常见半吊子修法,验证器的判别力边界没有系统刻画。
• 没有人类基线(伦理声明里写明不测),agent 距离真实开发者还差多远,这个基准回答不了。

术语

• CUA(computer-use agent):靠截图看屏幕、靠鼠标键盘动作操作电脑的 agent,与只读写文件的 coding agent 相对。
• SWE-bench 类基准:给一个 GitHub issue 和仓库,让 agent 提交 patch,用仓库自带测试判分。
• M/S 标注:任务规格的来源标注。M 表示部分需求只存在于运行中应用的界面材料里,S 表示需求写在指令和可读源码中。
• 负样本补丁:看似合理但只修一半的补丁,用来检验验证器会不会误放行。
• RLVR:用可执行测试的二值结果当 reward 做强化学习,无需人工或模型打分。
• pass@k:k 次尝试内至少成功一次的任务占比。

原文与代码

• arXiv 2609.32600v1
• PDF
• Hugging Face
• GitHub · https://github.com/kingofspace0wzz/cua-swe

相关论文

• MongoDB:AI 代理写元数据先辩论,人类管家反驳后入库
• 同题跨模型专家重叠仅约60%，MoE分工反映几何而非专长
• 确定性偏好下 DPO 的 KL 会失效，IPO 锁住对数间隔
• 把策略编译成程序:弱模型追平 gpt-5.5,成本降 9-47 倍
• AppWorld难题占比提升165%，完成率被钉在五成附近
• 20个科学基准全被刷过,Opus均值10.4%几乎全是调参

全部论文解读