中科大等发布 OS-Helix:端到端统一 GUI 操作与代码执行的桌面 Agent
ustc · hf · 2026-10-19
中科大、上海 AI Lab、新加坡国立大学等联合发布 OS-Helix,一个端到端训练的多模态 computer-using agent,在统一动作空间中同时执行 GUI 操作与代码执行。
- 研究发现纯靠 prompt 组合工具无法实现 GUI/代码协同:简单给 GUI agent 加代码工具反而降低性能
- 通过「应用-工件组合」构建真实文件状态的 Ubuntu 可执行环境,配合解耦的指令/评测器生成管线,保证最终状态可验证
- 训练采用混合策略:先在过滤的混合数据上做 SFT 冷启动,再用在线 RL(GBOP 算法)在真实桌面环境中强化,桌面自动化基准上取得大幅提升
「编程与Agent」频道最新
- CI 迎战 AI Agent 时代：Celesto 宣称每分钟成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-19
- Reddit 热帖：哪些任务 agent 能做但你仍手动做？ — Glittering812 · 2026-10-19
- 万字 PM 岗位分析：30% 要求 AI 技能，第一大技能是选对问题 — aakashgupta · 2026-10-19
- 开发者用 Opus 5.5 一个周末做出可玩的 Tesla Roadster 网页游戏 — edwinarbus · 2026-10-19
- 马斯克转发 Grok Bot 功能清单:自带电脑、邮箱与机器人团队 — elonmusk · 2026-10-19
- HIVE 团队详解 Agent 访问层设计：审批须绑定精确参数与策略版本 — usehive · 2026-10-19