AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
Jiadi You, Qize Yu, Yue Chen, Minghong Cai, Zhide Zhong, Yuran Wang, Bowen Ping, Jiaqi Liang, Zhenhao Shen, Haodong Yan, Yinchuan Li, Ruihai Wu, Xiaojuan Qi, Yingcong Chen
cs.RO, cs.AI, cs.CV
2026-09-16
AffordanceWAM 同时生成 RGB、标量可操作性场和热图,使人手视频不必带动作标签也能监督控制。机器人数据固定时,RoboCasa 从 63.7% 升到 69.4%,真机五项平均从 42.7% 升到 74.7%。
遥操作能教控制,但贵且场景窄。人手视频便宜、花样多,没有机械臂动作,身体和视角也对不上。把人手轨迹重定向成机器人动作,必须先对齐视角、速度和行为,否则加人数据会拉低成功率。
WAM（世界动作模型：一个网络同时预测未来画面和动作）让人手视频学场景演变,机器人轨迹学动作。现有做法预测 RGB 或视觉隐变量,背景和机位占了容量,该碰哪块物体仍是隐式的。
可操作性（affordance，物体提供的交互可能）不绑定某只手或某个关节。它被写进未来世界,分两路。Scalar Affordance 为逐帧 0 到 1 的标量场,标出该碰的物体和区域,人手与机器人语义相同。Affordance Heatmap 用固定函数把它渲染回 RGB 帧,把区域粘回物体。再加未来 RGB,世界专家生成三路。
骨干是预训练视频扩散 Transformer。World Expert 与 Action Expert 参数分开、层数相同,靠每层 Masked Joint Self-Attention 耦合。RGB 与标量场互看;热图看这两路和自己;动作只看 RGB 与标量场。动作写不回世界,控制信号不会污染动力学。热图不进动作专家,它仍是 RGB 外观,放行就会变成捷径。动作专家依然能读 RGB,并没有只靠标量场。
优化是 flow matching。干净目标与高斯噪声按时间 τ 做线性混合,网络预测的速度等于噪声减去数据,从 τ=1 积分到 τ=0。三个世界流共用一个流时间,动作单独采样。人的片段只更新 World Expert,损失算在 RGB、标量场、热图的速度上,再加标量场编解码器的帧级重建 MSE。机器人轨迹额外更新 Action Expert。人的数据不造动作 token,不做伪标签,也不做跨本体重定向。
Stage I 先训世界,再慢慢加上动作损失。动作一边对着带噪世界联合去噪,一边在生成完的世界上精修,课程偏向前者。Stage II 只用目标机器人的视觉语言动作示范,没有可操作性标注。世界模型冻住,只训 Action Expert,梯度在接口截断。推理先四路联合生成,再固定世界、短去噪动作块,用精修动作控制。
RoboCasa 平均成功率 69.4%,下游每任务 300 条示范。同样 300 条的 π0 为 62.5%,GR00T-N1.5 为 64.1%。Cosmos Policy 用 50 条达到 67.1%,UWM 用 1000 条为 60.8%。主表示范量没有对齐。CALVIN ABC→D 在 A、B、C 上训练,到未见环境 D 测试,平均完成长度 4.22,表中最强的 VPP 是 4.01。至少连续完成 1 到 5 个任务的成功率,本模型为 96.1%、92.8%、85.5%、77.8%、69.5%,VPP 为 95.3%、88.2%、80.3%、72.9%、64.5%。
消融把机器人数据固定,只切换两件事：有没有人手视频,有没有可操作性。前四组各训练三个种子。
| 设置 | RoboCasa 成功率 | CALVIN 平均长度 |
| 仅机器人 | 57.3% | 3.75 |
| 只加人视频 | 55.1% | 3.68 |
| 只加可操作性 | 63.7% | 3.91 |
| 两者都加 | 69.4% | 4.22 |
| 热图通路打开 | 63.5% | 3.85 |
没有可操作性时,人手视频把 RoboCasa 从 57.3% 降到 55.1%,CALVIN 从 3.75 降到 3.68。有可操作性时,同一批视频把 63.7% 抬到 69.4%,把 3.91 抬到 4.22。人的片段不更新动作专家,增益只能从世界表征耦合过来。两条趋势的交互是 7.9 个百分点,CALVIN 上是 0.38 的平均长度。
只去掉热图,RoboCasa 从 69.4% 到 65.4%,CALVIN 从 4.22 到 3.99。缺标量场时热图跟着外观走,交互结构留不住;缺热图时标量场漂离物体。
人手视频从 0% 加到 100%,机器人曝光和更新步数不变,RoboCasa 依次为 63.7%、63.9%、64.3%、65.2%、67.1%、69.4%。前 60% 只涨 1.5 个点,后 40% 涨 4.2 个点,约占涨幅的 74%。
真机和 Cosmos Policy 都用每任务 50 条微调、15 次评测。五项基础任务宏平均 42.7% 对 74.7%：水果放盘 60.0% 对 86.7%,按颜色嵌杯 40.0% 对 60.0%,按形状选鸭 46.7% 对 73.3%,胡萝卜 40.0% 对 86.7%,铲子 26.7% 对 66.7%。关抽屉 46.7% 对 80.0%。捡水果至少 1、2、3 个,对方是 73.3%、53.3%、26.7%,本模型是 86.7%、73.3%、53.3%。插花 6.7% 对 20.0%。
人手视频不需要动作标签,也不把腕部轨迹重定向成机械臂。可操作性是两边一起预测的目标。适配时世界模型冻住,普通机器人示范只训动作专家,连标量场都不用再标。
机器人数据固定时,RoboCasa 从 63.7% 到 69.4%,增量来自人视频的交互覆盖。CALVIN 只比 VPP 长 0.21。真机同样 50 条差距更大,但只比了 Cosmos Policy,每项 15 次。
69.4% 对 Cosmos Policy 的 67.1% 不能当成同数据量的胜利：一边 300 条示范,另一边 50 条。和 π0、GR00T-N1.5 才是 300 条对 300 条,领先大约 6.9 和 5.3 个百分点。同预算的对照主要在真机。
人视频要带 Scalar Affordance 才进得了预训练。标量场的标注成本正文没有给出。主实验也没测标错之后会不会再次把策略拉差。缩放曲线前 60% 只涨 1.5 个点,标注量中等时收益可能很薄。
热图通路一打开,RoboCasa 从 69.4% 掉到 63.5%,CALVIN 从 4.22 掉到 3.85。少一条 RGB 捷径确实有用。动作专家仍然直接读 RGB。论文没量它更靠标量场还是外观。
插花 20.0%、三果 53.3%,离可用还有距离。15 次试验起伏大。三路世界加动作精修的时延没有数字。适配时世界模型全冻住,外观差更大时只改动作头够不够,没测。