MBZUAI 推出 Ego2Act:2640 段第一视角视频考验模型多步物理推理
MBZUAI · hf · 2026-10-03
MBZUAI 发布 Ego2Act,一个面向目标导向操作的第一视角视频生成 benchmark,检验视频模型作为世界模拟器的能力:
- 规模:110 个真实日常任务、2640 段视频,覆盖不同物体杂乱度与多步复杂度;给定初始场景图与高层目标,评估模型能否生成手部操作物体完成任务的合理第一视角视频。
- 自动评测:配套 Ego2ActJudge 无参考评测管线,与人类共识的对齐优于现有基线。
- 核心发现:模型的生成模拟常跳过或部分执行步骤,导致后续依赖状态缺失、目标无法达成;在细粒度物理动态、复杂物体操作与持久世界建模上持续失败。
作者希望该测试床推动视频模型走向物理合理的目标导向模拟。
「具身」频道最新
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- iFixit 拆解苹果 HomeView:满机胶水,维修难度劝退 — Resident-Fall4351 · 2026-11-19
- 移除人类视频后机器人OOD成功率从60%暴跌至7%,泛化全靠人类视频 — gui_penedo · 2026-11-19
- 假肢公司 PSYONIC 的机械手被 90+ 机器人机构采用 — DhowCIO · 2026-11-19
- 仿真器误设导致过度自信:SPEED+ 基准上的sim2real方向性稳健性研究 — Nikolay Dolgov · 2026-11-19
- Doppel 世界模型:先渲染机器人身体,一个模型通吃 8 种具身 — mangahomanga · 2026-11-19