AffordanceWAM:用人类视频的 affordance 表示实现机器人操作跨本体迁移

PKU · hf · 2026-10-20

港大、北大、HKUST(GZ)等机构提出 AffordanceWAM,一种 affordance 感知的生成式世界-动作模型。它通过 Scalar Affordance 与 Affordance Heatmap 表示物体级时空可供性,基于预训练视频扩散 Transformer,用分离参数化的 World 与 Action Expert 经 Masked Joint Self-Attention 耦合,在统一 flow-matching 目标下联合预测未来 RGB 观测、affordance 场与连续机器人动作。人类视频监督三条未来世界流,机器人轨迹仅提供动作监督,实现无需人类动作标签的跨本体迁移。在 RoboCasa、CALVIN ABC→D 及真实操作实验中稳定超越 RGB-only 与仅机器人数据基线。