Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation
Yuzhi Huang, Jie Wu, Fanding Huang, Junchao Lin, Weichen Zhang, Ziyi Xiong, Yang Li, Zhengwei Xie, Zhimin Wang, Zhen Liu, Jiazhen Huang, Yuzheng Zhang, Yuche Liu, Hongyi Yang, Chen Tang, Shixiang Tang, Hakan Aktas, Adam Wu, Duo Wu, Kangye Ji, Shuzhao Xie, Huanan Liu, Weijue Bu, Chenxin Li, Xinyuan Wang, Tianyi Bai, Yinan Mao, Jiawei Wang, Minglei Li, Heng Yu, Ehsan Adeli, Minchen Li, Yong-Lu Li, Cengiz Öztireli, Huazhe Xu, Chao Yu, Jing Zhang, Shanghang Zhang, Weitao Zhou, Wenwu Zhu, Cheng Chi, Jingyan Jiang, Zhi Wang
cs.RO, cs.AI, cs.CV
2026-11-20
30 个双臂任务把机器人拆成记忆、执行、闭环组合三关:最强 agent 前两关 52.7% 与 39.0%,组合关只剩 12.0%,八个任务全场无人做通。
机器人操作里,「想清楚」和「做出来」是两种能力:前者要求记住已经看不见的信息、从反馈里推断规则、维持任务状态;后者要求在时间窗内把物理效果做出来。现有基准的毛病是把两者混在同一个任务里只报一个总分,失败了你分不清该怪脑子还是怪手;少数基准把推理和执行拆开测,却从不检查两者拼回一起后还灵不灵。清华、剑桥、斯坦福等 16 家机构建了 Mind2Act World,把这个归因问题做成可复用的诊断基准。
30 个双臂桌面操作任务(两台 ARX X5 机械臂,Isaac Sim 仿真),覆盖餐饮服务、制造物流、仪器操作、装配推理、陪伴教育五个场景,按三个视角各 10 个任务组织:
每个任务三档难度,再跑 Clean 和 Random 两种场景(同一任务实例,Random 只加杂物、换 23 种桌面材质和 6 类光照),共 180 个配置。判分全部在仿真器端:物体放下且被支撑才算、读数稳定才算,系统自报完成不给分,重复动作只在新满足条件时计分。评测对两类架构开放:端到端策略(VLA 把图像指令直接映射成动作,WAM 先预测世界变化再出动作)在 4500 条共享演示、75.8 小时上微调;agent 走固定一套工具(moveeef、memoryresolve 等),不做任何训练。Mind2Act 视角演示平均 99.6 秒,RoboTwin 2.0、RoboDojo 这类基准只有 13 到 40 秒。失败归因用规则分析加 LLM judge,把每条失败轨迹定位到首个断裂阶段,归给 Mind、Act 或组合,再汇总成单模型的 profile card。总分权重向组合倾斜:0.25 Mind + 0.25 Act + 0.50 Mind2Act。
9 个系统、56700 条有效 episode,agent 与端到端分开排榜:GPT-6 Astra 以 34.6% 总成功率领跑 agent 榜,InternW0 以 8.7% 领跑端到端榜,其余七个系统挤在 2.9% 到 7.0%。
| 系统 | 类型 | Mind | Act | Mind2Act |
| GPT-6 Astra | agent | 52.7% | 39.0% | 12.0% |
| DeepSeek-V4.1-Flash | agent | 11.0% | 8.7% | 0.0% |
| Gemini-4-Argon | agent | 4.3% | 9.7% | 0.0% |
| InternW0 | WAM | 5.4% | 17.6% | 3.0% |
| X-VLA | VLA | 1.0% | 19.6% | 0.2% |
| π0.5 | VLA | 3.5% | 12.0% | 3.6% |
比总分更有信息量的几个事实:
还有一条诚实的细节:部分得分显示多数 Mind2Act episode 死在前几步,还没走到需要推理和执行配合的地方。G0.5 在搭桥任务 300 条里有 202 条连零件都没抓起;真正算组合失败的例子是 InternW0,300 条烹饪里 271 条在食材没下完时就开了火。
这份基准把排行榜换成了体检报告:哪一层弱、首个失败在哪个阶段、失败模式长什么样,profile card 直接给出下一步该修什么。对做 VLA 的人,它标出两个可攻的点:换外观后记忆大幅蒸发,以及组合任务 3.6% 的天花板。4500 条平均时长远超同类基准的长时程演示,本身就是稀缺训练资产。要说渐进,它是评测体系的渐进,但把「组合」单独拎出来施压,此前没人系统做过。
论文自己承认核心一条:三个视角用的是不同任务,Mind2Act 的工作流也更长,所以视角间的差距本身不能证明是组合失败,匹配干预实验留给了未来工作。时间口径要留意:仿真在推理期间暂停,限时任务量的是仿真时间内的反应,agent 一次调用十几秒的延迟被这个设计藏了起来。两类系统的评测规模也不同:agent 每配置只跑 5 条,端到端跑 50 条,agent 还拿 4 倍物理时长,两个榜不能直接横比。诊断 harness 只覆盖三个代表系统;任务全是桌面抽象,离真实部署流程有距离。