Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
Yanzhe Chen, Ziyi Yang, Jifeng Zhu, Qiming Huang, Ruihe An, Peiyao Xu, Hesen Yang, Runda Liu, Chang Gong, Zhijun Cao, Zechen Bai, Wenzheng Zeng, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Kevin Qinghong Lin, Mike Zheng Shou
cs.RO, cs.AI, cs.CV, cs.MA, cs.MM
2026-10-22
NUS 综述提出 PAPAV 五能力框架,统一比较 computer-use 与 robot-use;64 个基准里评测集中于执行,仅 5 个测预判、3 个测校验。
computer-use agent(替人操作浏览器、桌面、手机的智能体)和机器人系统是两条各自生长的研究线,连 survey 都各写各的:GUI agent 的综述谈计算架构和数字交互,具身 AI 的综述谈物理任务与执行。论文统计了十篇相关综述(Table 1),六篇同时覆盖两边,四篇做了 benchmark 分析,但没有一篇把两种设定放进同一个能力结构里比较。
这个缺口正在变大。π0、Gemini Robotics 这类基础模型,加上 world model 和更大的机器人数据集,正在把两边原本分开练的能力接在一起。强组件拼起来不等于一个连贯的物理智能体,连贯性取决于整个回路在环境变化时的协同,协同需要一个在两种设定下都稳定的比较单元。论文的核心问题一句话:多模态 agent 从操作电脑走向操作机器人,到底什么变了?
回答是一个叫 PAPAV 的能力框架,五个功能角色构成一个任务回路:
两个设计选择撑起整个框架。第一,角色按功能定义,不绑定架构:一个模型可以同时支撑几个角色,一个角色也可以摊在多个模型和工具上;一次点击、一次技能调用、一段机械臂轨迹形式不同,PAPAV 只问它们对同一个回路各贡献了什么。第二,统一时间尺度取任务步:一次点击和一个控制 tick 不可比,一个任务步可比。相比常见的观察-决策-行动循环,这套框架把 Anticipate 从 Plan 里拆出来(先估后果再选路线),把 Verify 从观察里拆出来(检验证据是否支持预期,不是再记一条观测)。
具身带来的差异被归为五条约束:部分可观测、可仿真性有限、不可逆、实时耦合、结果不可验证。合起来的效果是能预先固定的选择更少、错误更难回滚,更多决策被推进交互过程本身。一个系统要算 MMEA(multimodal embodied agent,多模态具身智能体)需满足三条:物理执行的任务状态跨轮持续;每个能力有可影响后续任务级决策的产出;决策显式考虑部署身体的可行性与时序。证据不够就标 indeterminate,不硬归类。
分析对象是 64 个 benchmark:10 个 MMEA、23 个 MMA(multimodal agent,多模态智能体)、31 个 RS(robotic system,机器人系统)。每个基准按五个能力做三级标注:Explicit(有专门任务或指标单独考察)、Implicit(能力被任务需要,但只体现在端到端成绩里)、Not Evaluated。为防高估,协议设了硬边界:路径和运动规划不算任务级 Plan,外部 evaluator 的检查不算 agent 自己的 Verify,有多模态输入不等于评估了 Perceive。
| 统计项 | 数量 |
| 显式评估 Anticipate | 5 / 64 |
| 显式评估 Verify | 3 / 64 |
| RS 基准显式评估 Act | 29 / 31 |
| RS 基准显式评估任务级 Plan 或 Verify | 0 / 31 |
| MMEA 基准显式评估 Act | 10 / 10 |
评测体系明显偏科。执行几乎处处被测,预判和校验基本藏在任务成功率后面;任务需要这两个能力,成功率却不告诉你 agent 做得好不好,失败也无法归因。MMEA 十个基准全部显式测 Act,Anticipate 全部只是 Implicit,Verify 只有 RoboCerebra 和 AgenticLab 两个。MMA 侧显式测 Anticipate 的集中在 world model 一类(WorldModelBench、PBench、HarnessEval-W);SWE-bench 这类产物生成基准的输出由外部测试,预测与修订干脆不计分。
框架还标出了能力的跨界流动。ShowUI-π 把机器人策略里的 flow-matching action expert 搬回 GUI,从连续截屏生成连续光标轨迹,把一次拖拽当作闭环连续动作来生成,不再是一对坐标点;Self-Grounded Verification 先独立引出任务完成标准、再据此评轨迹,同一机制在 web agent、GUI agent 和机器人操作上都验证过。机制本身跨设定可迁移,变的是证据形态和约束。
对做评测的人,这是一份体检报告:Anticipate 和 Verify 没有单独指标,排行榜就分不清「动了手」和「做对了」,失败也说不清出在感知、规划还是校验。论文点破了一个常见错觉:由外部评估器算出来的阶段进度,并不能证明智能体自己会组织任务、会识别中间失败。对做机器人的人,它给出了从 computer-use 侧借机制的具体路线,ShowUI-π 是已走通的样本。对新人,按能力组织的文献地图加 64 个基准的标注表(配套 Awesome 仓库)是实打实的导航。该泼的冷水也要泼:这是分类学和测量学的工作,不产生新模型,不刷榜,价值取决于社区是否采纳这套语言。
三级标注是作者团队的人工编码,协议写清了边界规则,但论文未报告标注者间一致性,单团队偏差排不掉。语料更新截止 2026 年 9 月 8 日,64 个的入选含人工判断,换一批人可能选出不同集合。框架里的 qualified belief、双向执行记录这些字段,作者自己说明是分析判据,不是现有系统报告的东西;按这套模板,今天几乎没有任何系统能填满,框架领先现状一大截。五条约束对「什么变了」的回答是定性归纳,论文没有量化各条约束的权重。整套框架也没有被反过来验证过:没有实验检验按 PAPAV 做的分析能否预测哪些系统在哪类任务上失败。