GEM-4D：几何增强视频世界模型，仿真任务成功率 22.7% 提至 75.1%

pliang279 · x · 2026-11-13

Harvard × MIT × Princeton 团队（ECCV 2026）发布 GEM-4D，一个几何增强的视频世界模型用于机器人操作。核心做法：训练时把冻结几何模型中的稠密 4D 对应监督蒸馏进视频 backbone，推理时丢弃该分支，零额外推理开销；由此得到跨帧几何一致、可执行的 rollout，逆动力学系统可直接读出 6-DoF 轨迹，从一条语言指令加一次观测闭环到真实机械臂，无需任务专属训练。结果：7 个仿真任务成功率从 22.7% 提升到 75.1%（+52.4pp，同一动作提取器），真机成功率从 61% 提升到 81%。项目页与视频转机器人动作 demo 已开放。