HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents
Tongbo Chen, Junbo Niu, Zhengxi Lu, Niu Lian, Fei Tang, Yuchen Yan, Yike Hong, Yong Du, Yizhou Liu, Bofan Chen, Yongliang Shen
cs.CV
2026-09-30
现成模型一接命令行就会掉分。浙大等用GUI、CLI、交错三类轨迹做SFT，再用CLI感知奖励做强化学习，HybridCUA-9B在OSWorld拿到53.6%，比基座高14.8点。
电脑操作智能体（computer-use agent，CUA）卡在接口选择上。纯 GUI 通用，靠截图、点击、打字就能进任何窗口，但长序列里一步点偏，后面全崩。给每个应用接专用 API 或 MCP 工具能把重复点击压成一次调用，代价是每个软件都要人做接入，换个应用就失效。
操作系统自带的命令行（CLI）本来像第三条路：一条 sed 或一段 python-docx 能顶十几步菜单。现成模型拿到 shell 并不会用。OSWorld 上四个代表智能体准确率全部下滑 2.5 到 11.5 个百分点。Qwen3.5-9B 的 GUI 基线是 38.8%，一开 CLI 掉到 18.4%。Qwen3.5-27B 只有 15.0% 的步骤走 CLI，EvoCUA-32B 更只有 0.15%。
缺口有两处。CUA 语料几乎全是 GUI，终端和代码语料没有屏幕上下文。逐步模仿只问这一步像不像，结果奖励只问做成没做成，接口有没有选对，两边都不看。
HybridCUA 来自浙大、北大、清华，基座 Qwen3.5-9B。可执行动作统一成 bash(command, timeout)：GUI 是 quoted Python heredoc 里的 pyautogui，CLI 是直接的 shell。用 heredoc 包点击并不改变类别，只有真正调起 shell 程序才算 CLI。观察是当前截图，上一步若是 CLI 再附 stdout/stderr。
数据管道造三类轨迹，合成 HybridCUA-8K：
共 5023 条 SFT 轨迹，11 个应用。另外造了 3000 个带可执行 verifier 的 RLVR 任务。每个任务用 27B 在三种动作空间各采 16 条 rollout，按成功率排序，5 个百分点以内的平局看成功轨迹中位步数，标 b-star：CLI 有明确执行优势为 1，否则为 0。任务全留。
SFT 在 46876 个 step sample 上训 2 个 epoch。再从 3000 题抽 1000 题做 GRPO。完成奖励 Racc 分不出接口选对和路绕远但做成了，失败 CLI 只要后面补救成功也不挨罚。于是加两档 CLI 感知信号：任务级 RCLI 要求成功且「发没发过直接 CLI」与 b-star 一致（权重 0.1）；步骤级 rexec 在 shell 级失败记 -1（权重 0.3），加在该动作的 token 优势上。
OSWorld 全量 361 题，每题最多 50 步，每个数字只跑一轮。准确率是 verifier 分数均值，部分返回小数，是严格成功率的上界。
| 方法 | 动作空间 | Acc. | 平均步数 |
| Qwen3.5-9B | GUI | 38.8% | 31.6 |
| 同上，裸开 CLI | GUI+CLI | 18.4% | 22.1 |
| +SFT | GUI+CLI | 46.0% | 19.8 |
| HybridCUA-9B | GUI+CLI | 53.6% | 14.0 |
| 同基座 GUI-only 训满 | GUI | 50.4% | 22.1 |
| AutoGLM-OS-9B | GUI+API | 48.9% | - |
| ToolCUA-8B | GUI+API | 46.8% | 14.9 |
| UltraCUA-32B | GUI+API | 43.7% | - |
| EvoCUA-32B | GUI | 56.7% | 25.0 |
HybridCUA-9B 比基座高 14.8 个百分点，步数少 17.6，同尺寸里两项都最高。比 AutoGLM-OS-9B 高 4.7 点，比 ToolCUA-8B 高 6.8 点，比大四倍的 UltraCUA-32B 高 9.9 点。EvoCUA-32B 的 56.7% 仍更高，那是 32B 纯 GUI。
裸开 CLI 步数从 31.6 降到 22.1，对应的是提前失败，不是效率。两个训练阶段，双接口都强过同配方纯 GUI：SFT 后 46.0% 对 44.2%，RL 后 53.6% 对 50.4%。SFT 三类混用 46.0%，只喂 GUI 43.2%，只喂交错 41.0%，只喂 CLI 31.7%，比不训还差。
RL 从 46.0% 到 53.6%，步数 19.8 到 14.0，少 29.3%。去掉 RCLI，准确率几乎不动，CLI 占比只到 58.9%（完整模型 64.0%），步数只缩短 18.2%。去掉 rexec，执行错误率在训练 120 步回到 16.5%，高于 SFT，完整模型落到 11.5%。
OSWorld-MCP（同 361 题，环境换 MCP）47.1%，基座 38.0%，ToolCUA-8B 46.8%。WindowsAgentArena（154 题）36.0%，基座 32.0%，ToolCUA 33.8%。训练只见过 Linux shell，评测时会发 PowerShell。OS 任务 84% 走 CLI，Chrome 74% 走 GUI；内容编辑 85.8%、结果核验 98.4% 用 CLI，空间调整 58.4% 用 GUI。同一批轨迹下，GUI/CLI 拆成两个 tool 是 38.8%，统一 bash 是 46.0%。
按应用写 API 的成本，shell 作为操作系统标配可以绕开，前提是模型真会选接口。这篇把「该不该开 CLI」标成 b-star 写进奖励，接口选择不再只靠克隆轨迹。这是和 CUA-Universe（VLM 打分、反馈粗）以及 RecreationWorld（只监督任务成败）的差别。
文件批量改、配置读写、结果核验更适合 CLI；网页点击和空间布局仍要 GUI。统一 bash 格式本身就值 7.2 个点，工具怎么暴露给模型会直接改成绩。
这是配方实验，不是新骨干网络。9B 仍低于 EvoCUA-32B，Windows 上只多 4.0 点。值得跟进的是三类轨迹和两项 CLI 奖励，不是这个 9B checkpoint 本身。
附录写明：收益绑在 CLI 是否可用、是否稳定。没有可用命令行的应用、受限 shell、随操作系统变化的命令语义，路由策略可能完全不同。OOD 只测了 OSWorld-MCP 和 WindowsAgentArena，覆盖不了应用种类、权限和长程工作流。数据围着 OSWorld 的 11 类应用转，Calc 一项占 RL 池 26.8%。
每个数字只跑一轮，361 题上 1 个百分点大约是 3 到 4 题，波动没报。Acc 含小数 verifier，不能当严格成功率。OSWorld-MCP 和 OSWorld 是同一批任务，换的是环境接口。Windows 的 4.0 点没有给出 PowerShell 写对了多少。教师采样用了按应用手写的 CLI skill，学生训练时看不到，但轨迹分布已经被塑过，泛化到没写过 skill 的软件还没有证据。
伦理声明也点了：shell 让单步能做的事变大，真实部署的安全和人机监督不在本研究范围内。