GAM 范式:从 3D 检测模型而非 VLM 训练机器人策略,小模型胜大 VLA
DJiafei · x · 2026-09-23
Allen AI 与华盛顿大学团队提出 Grounded Action Model(GAM),挑战「语言/视频模型是否是机器人正确基座」这一主流假设。核心主张:先 grounding,再学行动——直接在 3D 理解模型上训练策略,而非依赖 VLM。
要点:
- 团队认为 GPT6-Astra 的启示是:scaling 空间与 3D 理解比 scaling 动作更能提升机器人操作能力
- GAM 以一个小的可提示 3D 框检测器 WildDet3D 为基座训练策略,走极简路线,结果以更小模型击败多数更大的 VLA 和 WAM(世界动作模型)
- 配套的 WildDet3D 是统一的 geometry-aware 单目 3D 检测架构,原生支持文本、点、框三种提示,可在推理时融合深度信号
- 团队构建了迄今最大的开放 3D 检测数据集 WildDet3D-Data:从现有 2D 标注生成候选 3D 框并人工校验,覆盖 13500+ 类别、超 100 万张真实场景图像
- WildDet3D 在多项基准刷新 SOTA,开放世界设定下在自建 WildDet3D-Bench 上取得 22.6/24.8 AP3D-dist(text/box 提示)
论文、代码、模型、数据集均已开源,并附 iPhone demo app。
所属事件:GAM：以 3D grounding 为底座的机器人基础模型新范式(6 条相关)→
「具身」频道最新
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- MIT CSAIL 推出 X-Hinges：3D 打印内置传感的自感知物件 — MIT News AI · 2026-10-23
- 机器人公司 Formic 融 5000 万美元 B 轮，已覆盖 100+ 工厂 — garrytan · 2026-10-23
- fal 团队开始微调实体机器人，教它学画画下周出结果 — OdinLovis · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23