HybridCUA:GUI 混合 CLI 训练,OSWorld 成绩提升14.8个百分点
Tongbo Chen · hf · 2026-09-30
论文主张下一代计算机使用智能体(CUA)应把 GUI 操作与命令行(CLI)结合:GUI 覆盖面广但低效易错,纯 API/工具方案又难以跨应用扩展。
- 关键难题是模型不知道何时、如何用 CLI。作者构建数据管线产出三类轨迹:纯 GUI、纯 CLI、GUI-CLI 交错,形成 HybridCUA-8K(5K 混合轨迹 + 3K 经验证的 RLVR 任务)
- 两阶段训练:先在构建轨迹上做 SFT,再用 CLI-aware 奖励做强化学习,鼓励智能体有选择且可靠地使用 CLI
- HybridCUA-9B 在 OSWorld 上达到 53.6%,较基座模型提升 14.8 个百分点;WindowsAgentArena 提升 4.0 个百分点,展现跨平台泛化能力
「编程与Agent」频道最新
- 用 Grok 搭「X 编辑部」自动化选题写帖，每天省下 3 小时 — jamestagg · 2026-09-30
- 知名 iOS 开发者盛赞 Codex 云端环境：配合 dots 体验极佳 — Dimillian · 2026-09-30
- Agent 谎报「CRM 已更新」:实战者总结模型外验证方案 — Kindly_Ganache9027 · 2026-09-30
- 开源 Agent 框架 Omnigent v0.16.0:沙盒写时复制与统一工作区浏览器 — matei_zaharia · 2026-09-30
- Midas Touch 代码数据集遭质询:可复现性与数据泄漏存疑 — maier_ak · 2026-09-30
- Midas Touch:直接从源码扩展 AI 编码环境的新论文 — maier_ak · 2026-09-30