Modality-Autoregressive World-Action Models
Adam Hung, Bardienus P. Duisterhof, Deva Ramanan, Jeffrey Ichnowski
cs.RO
2026-09-16
ModAR按轨迹、DINO、深度、RGB的顺序自回归去噪未来观察,最后才预测动作。RoboTwin上平均成功率75%,高于6B视频预训练的Flex-π的72%,训练FLOPs大约只有其1/20。
世界-动作模型同时预测未来观察和机器人动作,多数系统把未来画成RGB。深度、预训练视觉特征和点轨迹更能直接扛几何、语义和运动,但这些模态在世界-动作模型里该怎么拼,仍是开放问题。现成做法还常从视频生成模型初始化,配方、表征和数据配比缠在一起,分不清到底是哪一项在干活。
卡内基梅隆大学的 ModAR 从零训练,把「先生成哪种未来、再怎么接到动作」拆开测。
给定当前多模态观察、关节配置和离散任务标签,模型要生成一段未来的 RGB、深度、DINO 特征和点轨迹,以及对应的动作序列。点轨迹用 CoTracker3 在补丁中心初始化;DINO 来自冻结 DINOv2 的空间 token。共享的扩散 Transformer 先做跨模态块,再接模态专家和输出头。任务嵌入和本体感觉走 adaLN。
生成顺序固定为轨迹 → DINO → 深度 → RGB,动作放最后,相当于用生成好的未来当逆动力学输入。训练时每个模态一份干净上下文拷贝、一份噪声预测拷贝,用块因果掩码防止看见后面的目标。为减轻自回归级联误差,上下文块在训练中被注入噪声,推理时不用。监督是 JiT 风格的 x 预测。无动作的人类视频只监督能用的未来模态,动作损失关掉。
对照在同一骨干和数据预算里复现四类配方:联合去噪的 Unified、训练时各流独立噪声、未来与动作互不注意的 Disjoint,以及只出动作的 Action-only。
RoboTwin 六个双臂任务,每任务50次试验。先用50条带动作示范,再把无动作示范加到每任务250和1250。ModAR 在三个数据规模上都是平均成功率最高的配方。无动作数据它吃得最狠:从66%加到76%,多10个百分点;Unified 只多大约1个点。Disjoint 平均好过 Action-only,加无动作数据后反而掉。
模态上,轨迹、DINO、深度有叠加收益;在这三者之上再预测未来RGB没有稳定好处。论文判断RGB引入高方差外观,结构化目标已经够用。消融里拿掉上下文噪声或把生成顺序反过来都会掉点;拿掉RGB几乎不掉。
一个担心是 ModAR 逐步去噪,四模态加动作共40步,别人只有8步。把 Unified、Disjoint、Independent-noise 都加到40步,缺口填不上:Unified 从67%降到59%,Disjoint 55%到54%,Independent-noise 34%到37%,ModAR 仍是75%。把两边的原生动作头丢掉、改用同一个外挂逆动力学模型,ModAR 的未来预测仍然更有用。
系统对比上,从零训练的轨迹-DINO-深度 ModAR 有30.1M参数,平均成功率75%;6B、从 Wan2.2 初始化的 Flex-π 为72%,训练FLOPs大约高20倍。这是系统级对比,不是控制结构消融。真实三件双臂任务(叠杯、叠毛巾、放抽屉)上,ModAR 也高于 Unified 和 Action-only,并随人类视频增加而上升。
对做操作策略的人,这篇最硬的结论不是又一个世界模型名字,而是:未来RGB不一定值得当默认目标;点轨迹、DINO和深度这些更结构化的未来,按从易到难的顺序生成,能把无动作视频用起来。30M从零模型在分布内任务上打过6B视频预训练系统,说明「先接一个大视频模型」不是唯一出路,尤其当任务固定、示范可控的时候。
它也把配方对比从论文叙事拉回到同一实现:联合去噪、辅助损失、先想象再动作,差距可以在同一骨干上量出来。
任务数量少,标签是离散任务ID,不是语言指令,不能外推到新物体、新场景或开放指令。逐步生成会拉长推理延迟。生成顺序是作者选定的,消融只试了反序,没有搜索任务相关的最优顺序。和 Flex-π 的对比混杂了参数量、预训练和实现细节。Independent-noise 从零训练很差,和采用该训练技巧的大规模视频预训练系统不是同一回事。成功率为50或30次滚动的点估计,文中没有报置信区间。