GAM:以 3D grounding 为底座的机器人基础模型范式,LIBERO-PRO 达 61%
DJiafei · x · 2026-09-22
Jiafei Duan 等人提出 Grounded Action Model(GAM),质疑以语言/视频模型为底座的传统 VLA/WAM 路线,主张机器人基础模型应构建在预训练 3D grounding 模型之上——「先定位,再行动」。
方法
- 支持语言、点、框三种 prompt,先转成以目标物体为中心的共享表征,融合目标视觉特征与度量几何信息,再与机器人状态历史经多流 transformer 混合预测动作块。
- 可自主运行,也可作为底层控制器,由高层 planner(如 Molmo2,用点选目标)操控,支持长时程与记忆依赖任务。
成绩
- RoboTwin 2.0 共 50 任务:平均成功率 55.3%(Spatial Forcing 为 52.0%);随机场景下 47.6%(Abot-M0 为 30.4%),且动作策略仅用干净场景演示训练。
- LIBERO-PRO:16 种扰动设定平均 61%(π0.5 为 53%);目标切换场景下达 88% vs π0.5 的 1%。
- Franka 实机上 GAM+Molmo2:分布内步完成率 64.7%,分布外 49.8%。
局限:grounding 错误与上下文遗漏(如未选中障碍物)仍是挑战。论文、代码与项目页均已公开。
所属事件:GAM：以 3D grounding 为底座的机器人基础模型新范式(6 条相关)→
「具身」频道最新
- Runway 发布 27B MoE 世界行动模型 Praxis-1,Fast 版中位延迟仅 73ms — ChongZzZhang · 2026-11-12
- Dream-1 双臂机器人现场演示：一句指令叠好黄毛巾 — DJiafei · 2026-11-12
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- 团队宣称造出智能手机价格的机器人,预售价外购更贵 — R4nsack · 2026-11-12
- CoRL 论文集证明：仿真训练已能产出顶尖真实机器人表现 — carlosdponx · 2026-11-12
- 机器人折毛巾现场翻车,机器人学家看完松了口气 — chris_j_paxton · 2026-11-12