Mirror:只用视频规划器,30分钟游戏时学会导航,无奖励无标注练出铁镐
vincesitzmann · x · 2026-10-20
Vince Sitzmann 团队发布「learning-from-experience」项目 Mirror:让智能体仅凭视频生成模型的规划来学动作,在 Minecraft 中无奖励、无专家动作标注地练出铁镐(配合 oracle 视频规划器甚至能拿到钻石)。
核心思路
- 组件只有两个:预训练并冻结的 video planner(生成「解决任务的样子」的视频规划),以及一个 video-to-action 模型(逆动力学模型)。
- 智能体在环境中查询视频规划,用当前 V2A 模型生成动作;哪怕动作接近随机,「视频+实际执行的动作」也构成有效训练样本,用来自举式重训 V2A,循环迭代。
为什么样本效率极高
- 视频规划器会持续把智能体「钉」在当前还做不到的关键动作上,随机探索自动聚焦于薄弱环节;V2A 的小幅随机性不影响整体策略,规划器还能重规划。
- 实测:约 30 分钟真实游戏时间学会跟随导航规划;所有其他结果都在 5 小时以内的游戏数据内完成,显著优于 Minecraft 中的强化学习,而随机探索永远达不到目标。
作者认为视频生成建模是可扩展目标且远未到天花板,这项工作回答了「若视频模型达到 LLM 级通用性,是否还需要任何人类采集数据」——答案是不需要。项目由 Ryu Hyunwoo、Eric Chen、Max Wilcoxson 主导。
所属事件:MIT Mirror 框架：视频模型当规划器，零奖励在 Minecraft 练出铁镐(6 条相关)→
「具身」频道最新
- 机器人已深入地下管网自主探路并带回数据 — VraserX · 2026-10-21
- Deepak Pathak:机器人学习没有完美数据源,仿真、视频、遥操各有取舍 — chris_j_paxton · 2026-10-21
- 新研究:最简单的离散动作表示就能追平甚至超越连续动作策略 — GuanyaShi · 2026-10-21
- 博主给 Grok 1000 美元让它自己买件身体,零件陆续寄到家 — Baconbrix · 2026-10-21
- YC 系 Tuesday Labs 推家用机器人 Voxel Series-1,999 台每台 200 美元预订 — testingcatalog · 2026-10-21
- Tuesday Labs 家用机器人 Voxel 与 Pixar 合作,主打人格化设计 — cneuralnetwork · 2026-10-20