Grounded Action Model:先3D定位再学动作的机器人基础模型新范式
DJiafei · x · 2026-09-22
研究者提出 Grounded Action Model (GAM),挑战「语言/视频模型是否是机器人基础模型的正确底座」这一假设。
核心灵感来自发展心理学(Hespos & Spelke 等的「语言的概念前驱」研究):婴儿并非先掌握语言再学会抓取探索,而是先在感知与行动中建立空间概念。GAM 主张机器人基础模型也可以「先定位,再学动作」——在预训练 3D grounding 模型之上构建,让预训练提供空间定位能力,机器人演示数据教出动作策略。
技术要点:
- 以预训练 3D grounding 模型(如 WildDet3D,也可用 SAM3D)定位任务物体并估计几何,backbone 冻结,只训练 action head
- 图像 token 保留被选物体与机械臂周边特征,detection token 编码物体点云与度量几何
- MM-DiT 融合两者与机器人状态历史、语言指令,生成 action chunks
- 动作指定支持三种方式:语言描述、点选、框选,降低语言歧义,让 VLM 直接引导机器人
论文、代码与项目页均已开源。
所属事件:GAM：以 3D grounding 为底座的机器人基础模型新范式(6 条相关)→
「具身」频道最新
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- NXP 发布无人机统一平台：开箱 30 分钟跑通初始飞行功能 — shashib · 2026-11-12
- 90 条演示数据训练,开源双臂机器人玩拼图成功率约 60% — DanGrover · 2026-11-12
- 机器人产业三种区域打法：中国拼规模、欧洲重检测、美国搞试点 — ingliguori · 2026-11-12
- 3500 台激光 AI 潜艇机器人巡逻挪威三文鱼养殖场 — philfung · 2026-11-12
- 模型连续迭代 75 分钟自主设计出机械臂 CAD,造型独特带手术机器人风格 — _Stocko_ · 2026-11-12