MIT 团队发布 Mirror：视频模型当规划器，Minecraft 零奖励练出铁镐

MIT 的 Vince Sitzmann 团队发布 learning-from-experience 项目 Mirror（论文《Self-Improving Video-to-Action Models》）：让视频生成模型担任视觉规划器，智能体仅凭环境交互自监督地学习「视频→动作」映射，在 Minecraft 中不依赖奖励、不依赖专家「视频-动作对」标注，配合 oracle 视频规划器约 30 分钟游戏时间练出铁镐，并首次在 MC 中实现自动挖到铁镐。随着视频模型能力提升，agent 能力可同步提升。

已确认

• 核心思路是视频模型越来越擅长「想象」如何完成任务，agent 学会执行这些视频计划；作者明确 Mirror 不是 RL，而是一种不需要「视频-动作对」的行为克隆，通过自博弈式的自我改进学习
• 作者 RyuHyunwoo 与 ericmchen1 主张具身 AI 过度痴迷「动作」：若视频模型像 LLM 一样规模化，可为任意具身任务生成「视频规划」，Mirror 只需学会照着执行
• 在离线 Minecraft 环境中，视频规划器 + IDM 组合显著优于 SOTA 世界模型 agent Dreamer 4：铁镐成功率约翻倍，钻石获取约 8 倍
• 涌现行为迹象：把 agent 丢进熔岩湖后，30 次尝试中逃逸率从 46% 升至 76%，且无需任何微调即可在上下文中从自身历史学习
• 作者预言视频模型 + LLM 为机器人 learning-from-experience 开辟新路径，可能带来「arm-farm 复兴」，使机器人学习经验变得可行

为什么重要

• Mirror 提供了介于行为克隆与 RL 之外的新范式：只学「执行视频计划」，绕开昂贵的动作标注与奖励设计
• agent 能力与视频模型规模挂钩，意味着底层模型进步可直接转化为具身智能能力提升
• 上下文学习式的涌现行为与对世界模型路线的显著优势，为具身 AI 的路线之争提供了新的实证依据

2026-10-20 ~ 2026-10-21 · 7 条相关

• 【源头】Mirror:只用视频规划器,30分钟游戏时学会导航,无奖励无标注练出铁镐 — vincesitzmann · 2026-10-20
• Mirror 作者预言「arm-farm 复兴」:视频模型让机器人学习经验变得可行 — vincesitzmann · 2026-10-20
• Mirror 让 Minecraft 角色无奖励打铁镐:视频模型当规划器的新范式 — vincesitzmann · 2026-10-20
• Mirror 视频规划器现涌现行为：熔岩湖逃逸率从46%升至76% — vincesitzmann · 2026-10-20
• 【源头】视频规划器在 Minecraft 打败世界模型：铁镐成功率翻倍、钻石 8 倍 — vincesitzmann · 2026-10-21
• 【源头】MIT Sitzmann 团队 Mirror:视频模型自博弈进化,MC 首次自动挖到铁镐 — vincesitzmann · 2026-10-21

另有 1 条近重复转述:vincesitzmann