MIT Sitzmann 团队 Mirror:视频模型自博弈进化,MC 首次自动挖到铁镐
vincesitzmann · x · 2026-10-21
Vincent Sitzmann 等人发布论文《Self-Improving Video-to-Action Models》,提出自监督方法 Mirror,让视频生成模型担任视觉规划器后,通过环境交互自我学习「视频→动作」映射,无需人类动作数据或手工奖励。
工作原理
- 智能体尝试执行视觉规划,记录视频-动作对并持续训练,逐步贴近规划器的意图,实现增量式自我改进。
关键结果
- 在 Atari、OGBench、DeepMind Control 上超越领先的从观察学习方法,配合 oracle 规划接近专家水平。
- 在 Minecraft BASALT 上击败拥有专家动作或手工任务知识的方法;在生存任务中成为首个仅靠自我改进获得铁镐的方法。
- 离线设定下(有专家动作标签但无环境交互)在获取钻石任务上刷新 SOTA。
- 作者还观察到初步的涌现行为:视频模型会记住某策略此前失败,并在后续采样中偏向成功策略。
论文与项目页面已公开。
所属事件:MIT 团队发布 Mirror：视频模型当规划器，Minecraft 零奖励练出铁镐(7 条相关)→
「具身」频道最新
- 亚马逊FAR团队发布FIBER：统一潜在空间让Unitree G1完成开门搬箱 — ChongZzZhang · 2026-10-21
- Sentdex 晒机器人训练难点：从躺地到半跪再到站起 — Sentdex · 2026-10-21
- NVIDIA 开源 MotionBricks:单模型生成 35 万动作技能,2ms 延迟 — aftahi_ai · 2026-10-21
- NVIDIA Cosmos3-H-Dreams：用生成式模拟让临床手术场景活起来 — Hugging Face Blog · 2026-10-21
- FLoTS-SLAM:用光流残差推导运动不确定性,动态场景单目 SLAM 掩码精度达 0.73 — zhenjun_zhao · 2026-10-21
- Plato 戒指发布:199 美元把气声语音变成 AI 指令 — TinfoilTricorn · 2026-10-21