15小时机器人视频训练出零样本世界模型
jbhuang0604 · x · 2026-07-24
Masked Visual Actions 把视频模型变成机器人世界模型
这条转发介绍了 Masked Visual Actions（MVA）：一种把预训练视频模型改造成机器人世界模型的方法。核心思路是把“动作”也表示成视觉语言，让模型回答反事实问题——例如“如果画面中的物体按某种方式移动，场景会如何演化？”
作者强调，这个表示同时覆盖两类对机器人很重要的能力：
- 前向动力学：根据观测和动作预测未来画面
- 逆向动力学：根据观测序列反推动作
帖子还提到，方法只用 15 小时 的单机器人视频微调，却能对未见过的机器人形态和场景 零样本泛化。它不仅能处理机器人动作，也能处理物体运动，因此适合用于基于模型的规划、策略评估和动作推断。
所属事件:仅用15小时视频训练出可零样本泛化的机器人世界模型(2 条相关)→
「具身」频道最新
- 纯软件护城河失效：创业者押注硬件+AI出海模式 — pramodk73 · 2026-07-24
- Bifrost 号称 30 分钟把现场视频重建成仿真 3D 世界 — jnack · 2026-07-24
- 一台复古腕机被玩成了人形机器人接管梗 — seanmcdonaldxyz · 2026-07-24
- 视觉语言动作系统仍可能错过下一个动作 chunk — StillThese3747 · 2026-07-24
- 生数科技在 WAIC 展示 Vidu、ViduS1 和 Motubrain — 生数科技 · 2026-07-24
- OpenAI 或将成为几十个机器人品牌的智能层 — VraserX · 2026-07-24