CMU 论文：同一 Computer-Use Agent 零微调拿下四项具身比赛奖项
wellecks · x · 2026-11-10
CMU 的 Aggarwal 与 Welleck 发表论文《Computer-Use Agents Are Embodied Generalists》，提出将物理环境视为数字软件界面：用软件把物理环境的视角渲染到屏幕上，再用标准键鼠操作即可完成具身任务。
核心发现：
- 一个未经任何任务微调的 Computer-Use Agent（CUA），仅靠键盘鼠标输入就能完成 3D 导航、分割等复杂具身任务
- 使用同一 CUA 设计、只更换环境渲染的软件 wrapper，在四个 ECCV workshop 比赛（OpenSUN3D、MeiVs2-Text、DialNav、VLNVerse）中分获第 1、2、3、6 名
- 标准 9B VLM 生成文本坐标即可逼近专用 VLA（π0.5）在机械臂仿真中的表现（56% vs 59% 成功率）
- 对顶尖模型而言，GUI 交互与文本 API 的性能差距几乎可忽略，GUI 是通用的「桥梁」
- 反对具身 AI 依赖专用 VLA 架构（diffusion/flow matching 动作头）的潮流
论证与展望：作者给出具身 AI 的「playbook」——1. 借仿真数据做视觉 grounding；2. 在 software-wrapped 环境里做 RL；3. 优化推理速度以实现实时交互。并预测具身 AI 最终将与写代码、解数学、操作电脑的通用模型收敛为同一个模型，专用机器人架构将被淘汰。
「具身」频道最新
- Google 发布 Gemini Robotics 2.5:200+复杂技能,学习速度大幅提升 — ZoubinGhahrama1 · 2026-11-10
- 机器人分拣评测:Claude Fable 5.2 完成8720,GPT-6 Astra 仅得8和7 — qinzytech · 2026-11-10
- Gemini 助力机器人分拣奔驰产线零件，成功率 96% — 141_1337 · 2026-11-10
- Ilya Sutskever 晒 Model Y L：FSD 比 HW3 老 Model 3 慢 5-10 mph — ilyasu · 2026-11-10
- SimEX:智能体在仿真中自练技能,迁移到真实机器人叠衣摆盘 — chris_j_paxton · 2026-11-10
- Amazon Ring 发布 250 美元自动巡逻家用安防无人机 — Polymarket · 2026-11-10