JarvisGUI:让 GUI 智能体同时操作三套系统的跨设备基准详解
maier_ak · x · 2026-09-23
这是 JarvisGUI 基准线程的完整文章版(作者 Substack 长文)。要点:
- 动机:真实数字工作很少局限单一屏幕(拍照→云端→电脑编辑→存回手机),但现有 GUI 智能体几乎都只在单设备隔离任务上测试,给出过于乐观的就绪度假象。
- 环境:在 Docker 中启动 Android 模拟器、Windows 桌面与 Ubuntu 服务器三个虚拟机(带 KVM 加速),单次任务内要求智能体跨三个操作系统协作。
- 任务与指标:118 个原子动作、150 个复合工作流(442 个子任务),用 Total Task Success(TSR)与 Sub-task Success(SSR)评估。
- 结果:开源智能体原子任务最好 42.4%,复合任务最好 TSR 8%,跨多设备仅 2%;失败集中在状态推理与长程规划,一个文件位置或命令错误即可导致整条工作流崩溃。
- 改进方向:更好的记忆机制、跨模态 grounding 与类型系统。
所属事件:JarvisGUI 基准：开源 GUI 智能体跨设备成功率堪忧(4 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12