MBZUAI 推出 Ego2Act：2640 段第一视角视频考验模型多步物理推理
MBZUAI · hf · 2026-10-03
MBZUAI 发布 Ego2Act，一个面向目标导向操作的第一视角视频生成 benchmark，检验视频模型作为世界模拟器的能力：
- 规模：110 个真实日常任务、2640 段视频，覆盖不同物体杂乱度与多步复杂度；给定初始场景图与高层目标，评估模型能否生成手部操作物体完成任务的合理第一视角视频。
- 自动评测：配套 Ego2ActJudge 无参考评测管线，与人类共识的对齐优于现有基线。
- 核心发现：模型的生成模拟常跳过或部分执行步骤，导致后续依赖状态缺失、目标无法达成；在细粒度物理动态、复杂物体操作与持久世界建模上持续失败。
作者希望该测试床推动视频模型走向物理合理的目标导向模拟。
「具身」频道最新
- AI2 发布 4B 模型 MolmoMotion,按语言指令预测 3D 点轨迹 — rsasaki0109 · 2026-10-03
- 实拍 Waymo 自动驾驶车市区穿行并自主汇入高速 — reed · 2026-10-03
- 家用机器人 Rooma 导航百次仍迷路，博主自嘲信仰流失 — OnlineInference · 2026-10-03
- 实测称 OpenAI Dot 设备是真的,演示虽翻车但产品过硬 — altryne · 2026-10-03
- ALOHA 作者退学创 Sunday Robotics,LeRobot 发起人转做 UMA — FinanceYF5 · 2026-10-03
- 想提前半年看到机器人进展?关注这 5 个关键账号 — FinanceYF5 · 2026-10-03