视频规划器在 Minecraft 打败世界模型：铁镐成功率翻倍、钻石 8 倍

vincesitzmann · x · 2026-10-21

Vincent Sitzmann 与 Hyunwoo Ryu 讨论具身智能路线之争：在离线 Minecraft 环境中，视频规划器（video planner）+ IDM 的组合显著优于 SOTA 世界模型 agent Dreamer 4——铁镐任务成功率约 2 倍，钻石约 8 倍。核心论点：「跟着数据走」的老智慧再次应验——互联网上有海量视频数据，训练视频规划器是通往通用性的更容易路径（尽管昂贵）。任何无法随数据规模扩展的策略（policy）都是没有希望的。推论：即使专家演示带有动作标签，由于动作标签数据稀缺，训练视频规划器（如他们的 Large Video Planner Vera、以及 mirror）仍优于训练世界模型（如 Dreamer v4）。