Magic-W0:结构化世界-动作基础模型,RoboDojo-Sim 拿下 27.1 分

Xuhua Chen · hf · 2026-10-07

论文提出世界-动作基础模型 Magic-W0,将结构化物理状态演化与连续动作联合建模。交互被表示为「当前状态—转移—未来状态」的结构化世界转移:当前状态融合视觉语言上下文与 3D 几何,转移用 3D 运动刻画动作引起的三维变化,未来状态用任务相关的未来语义表示。

架构上采用层对齐的世界-动作交互设计:演化的动作假设条件化世界转移预测,预测出的世界表征又持续反馈给动作生成。模型在大规模第一人称人类操作、UMI、真实机器人与仿真数据上预训练,用预训练视觉模型对几何、3D 运动和未来语义做隐空间监督。

推理时干预实验显示结构化世界表征会系统性响应候选动作变化;在 RoboDojo-Sim 上平均得分 27.10,为对比 WAM 中最高;多个真实机器人任务上经少量数据微调即表现强劲,支持泛化与快速适配。

原文链接 →

「具身」频道最新

更多「具身」频道 AI 资讯 →