AI2 发布 MolmoMotion:3D 点轨迹预测,机器人抓放成功率提升至 76.3%
k7agar · x · 2026-10-03
AI2(Allen Institute for AI)与华盛顿大学等合作的 MolmoMotion 入选 NeurIPS 2026 Highlight 论文,代码、权重、数据集与基准全部开源。
- MolmoMotion-1M:目前最大的动作描述、物体锚定 3D 点轨迹数据集,基于 116 万条视频构建
- MolmoMotion-4B:语言条件 3D 运动预测模型,输入 RGB 短历史、物体上的 3D 查询点与语言指令,预测每个点的未来 3D 轨迹(公制世界坐标系),覆盖刚性、铰接与可形变物体,在 PointMotionBench 上达到 SOTA
- PointMotionBench:经人工核验的 3D 运动预测基准,覆盖 111 类物体、61 种运动类型
下游应用:在 DROID 真机视频上微调后,用 MolmoMotion 初始化操作策略,抓放任务成功率从 Molmo 2 基线的 56.0% 提升到 76.3%;其预测轨迹还可作为图像生成视频的显式运动控制信号,五项运动相关指标全面超越基座模型。
所属事件:AI2 开源 MolmoMotion:语言指令驱动 3D 点轨迹预测(3 条相关)→
「具身」频道最新
- 移除人类视频后机器人OOD成功率从60%暴跌至7%,泛化全靠人类视频 — gui_penedo · 2026-11-19
- 假肢公司 PSYONIC 的机械手被 90+ 机器人机构采用 — DhowCIO · 2026-11-19
- 仿真器误设导致过度自信:SPEED+ 基准上的sim2real方向性稳健性研究 — Nikolay Dolgov · 2026-11-19
- Doppel 世界模型:先渲染机器人身体,一个模型通吃 8 种具身 — mangahomanga · 2026-11-19
- FloMo 世界动作模型:预测 3D 运动比预测视频更能驱动机器人 — CSProfKGD · 2026-11-19
- MIT 微型飞行机器人首次自带传感器与计算,可精准降落向日葵 — MIT News AI · 2026-11-19