不训练模型只改接口,微软 HCU 拿下 OSWorld 2.0 最高分

Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents

Haoqing Wang, Xiaoyi Zhang, Sicheng Fan, Zhexin Zhang, Xinjie Zhang, Jiahao Li, Bin Li, Yan Lu

cs.HC, cs.CL

2026-10-30

HCU 把代码、无障碍树、GUI 三通道统一交给 agent 自选组合,OSWorld 2.0 上 72.37% Partial 居首,输入 token 最多省 57%。

这篇在解决什么

现在的 computer-use agent 基本都在模仿人:截一张屏,在图里找控件,再发鼠标键盘事件。这条路给模型强加了一个「人类交互先验」。一个输入框明明在无障碍数据里报上了自己的名字和当前值,agent 还是得靠像素坐标定位;一批数据本来一行代码能处理完,agent 却要反复点击拖拽。任务变长之后(OSWorld 2.0 专门考察长程真实工作流),这种「看屏、定位、操作」的循环同时拖累成功率和成本。

之前的混合方案已经走了几步:ALE 和 WeaveBench 把截图操作挂成 agent 工具,补上了程序通道,但基本没用 AX;UFO2、Tactile、CUA Driver 各自接入了 AX,却要么绑定特定框架,要么规定了通道用法。微软这支团队的做法是把三条通道全部摊开,让模型自己挑、自己组合。

方法

HCU(Hybrid Computer Use)在 agent 的任务上下文里放三条通道:程序通道用 agent 自带的 shell、代码、文件工具;语义通道(AX)和视觉通道(GUI)通过 MCP 挂进来,变成两个桌面工具。三条通道操作同一台电脑,HCU 自己不加 planner、不派 subagent,所以同一套接口能接进 Codex、Claude Code、Gemini CLI、Grok Build 四种 harness。

AX 通道是设计重心,解决三件事:

通道切换有个隐患:AX 动作可能在旧截图的坐标上弹出新对话框,GUI 动作可能替换掉 AX 引用指向的控件。action guard 在每次输入前检查,AX 目标守卫把引用对回实时控件,GUI 布局守卫核对当前窗口布局与截图时是否一致,不一致就拒绝输入、退回新证据。另有一份 skill(用法说明),从开发轨迹里的典型错误蒸馏而来,讲清各通道能干什么、怎么批量、出错怎么恢复,不含任务答案。

结果

OSWorld 2.0 全集(108 任务)主对比:

方法PartialBinary每任务成本
StateAct(GPT-6 Astra,离线子集,不排名)72.60––
CUA Driver(GPT-6 Astra)68.8231.5$10.05
HCU(GPT-6 Astra)72.3732.4$10.03
HCU(Claude Opus 5)72.0635.19$22.67

同 harness 同模型的配对对比里,HCU 比 CUA Driver 高 3.55 个 Partial 点,工具调用少 29.81%,成本几乎持平。Claude Opus 5 这组比官方榜单高 3.75 / 3.76 点,成本低 20.26%。

OSWorld 1.0(361 任务,GPT-5.4)上 HCU 65.59 分对 CUA Driver 62.30,步数少 29.80%,输入 token 少 56.85%,成本少 55.36%。换成 Claude Opus 5.5、Gemini 3.8 Flash、Grok 4.7 全部提升,幅度 +2.94 到 +12.90,成本降 8–55%。消融显示 AX 是最大功臣:去掉它掉 2.79 分;去掉 GUI 分数在波动范围内,步数却涨 12.45%。skill 把参数格式错误导致的调用拒绝率从 17.37% 压到 1.36%。跨平台同样成立:WeaveBench 53.25% 对 46.37%,Windows Agent Arena 80.86% 对 71.89%,成本低 46–51%。

为什么重要

这是一次不碰训练的接口改动,用的都是桌面系统现成能力,代码已开源。对做 agent 产品的团队,最直接的结论:接 AX 通道是当前性价比最高的一步,发布版在 OSWorld 1.0 每任务 $0.40,CUA Driver 是 $0.98,分数还高 7.66 点。论文引 Sutton 的 bitter lesson 收这个论点:接口锁死在「人怎么用电脑」上,会限制更强的模型发挥。轨迹分析还有个反直觉事实:同一套接口,不同模型用法完全不同,GPT-5.4 八成桌面调用走 AX,Claude 九成四走 GUI 但更爱批量(58% 的执行调用含两个以上动作)。接口该做的是把选项摊开,不是替模型做决定。

局限与存疑

论文自己承认,AX 覆盖取决于应用暴露了多少:自绘内容可能没有任何可访问元素,虚拟化列表项渲染前不存在。像素通道短期内删不掉。

几处对比不够干净:GPT-6 Astra 的官方 72.60 是内部子集成绩,榜单不排名;Gemini、Kimi 的数字来自旧版任务集,任务数未说明。Gemini 那 +12.90 分主要来自 CUA Driver 撞上 100 步上限的任务,放宽预算差距大概率收窄。消融里去掉 GUI 反而 66.08 分,高于完整版的 65.59,三通道叙事中 GUI 对分数的贡献其实很薄,主要价值是省步数。Claude Opus 5.5 用 HCU 时间还涨了 6%。MacAgentBench 只挑了 28 个依赖 UI 的任务,样本小。GUI 动作词表实验还显示,接口约定本身会偏袒模型:GPT-5.4 换成 Claude 风格词表掉 2.03 分,「模型自选通道」并没有抹平接口的偏向。

术语

原文与代码

相关论文

全部论文解读