GOAG: Generative and Object-Agnostic Grasp Planner for Dexterous Robotic Manipulation
Julien Merand, Boris Meden, Mathieu Grossard, Liming Chen
IROS)
cs.RO, cs.AI
2026-08-20
CEA List用CVAE只在夹爪运动学上学习可行接触分布,推理时才注入物体。MultiDex上三款手平均成功率86.93%,合成整库约1个GPU小时,对照物体库要1400小时。
多指抓取的学习规划器,几乎都在有限的「物体–夹爪」配对上训练。换一件训练集里没见过的形状,接触图和关节解一起塌。分析式方法能泛化,但搜太慢;数据驱动快,却把偏见写进了物体几何。
CEA List 把问题翻了个面。夹爪和物体在接触处共享同一块表面几何,接触区从物体上看和从手上看应当重合。那就可以先只学这只手「能贴住的接触分布」,物体几何留到推理时再注入。GOAG 按这个观察做成生成式、训练期物体无关的规划器。
训练数据全部来自夹爪自身。均匀抽 10,000 个合法关节配置,按改编自文献的 6 类常用抓取(覆盖机工 92.5%、家政 96.2% 的工时)在允许接触区内随机采样接触点,每个配置 50 组,共 300 万条点云。整份数据在一块 RTX 4090 上大约 1 个 GPU 小时;对比里 GenDexGrasp 一类的物体–抓取库要 1,400 个 A100 GPU 小时。
几何编码用夹爪工作空间里的 Basis Point Set,8,192 个基点,每个点存到输入点云的法向对齐距离。CVAE 学这些基点上的连续接触似然,潜变量 128 维;并行的 PointNet++ 把接触点标到具体指节。推理时把新物体变到夹爪系,走同一套 BPS,从先验采样 z,解码出接触场,阈值 τ=0.8 取出高似然基点。
接触点按指节聚成质心后做力闭合初筛(库仑摩擦 μ=0.3,不考虑重力),通不过就重采样,最多 20 次。通过的再能量优化关节:贴合接触、惩罚穿模、自碰和关节越界。全局位姿不由网络回归,从物体凸包外扩 110% 的表面上均匀采样,手掌朝向与法向相反。
MultiDex 十个物体、三款夹爪,Isaac Gym 里沿 ±xyz 各推一秒、位移小于 2 cm 算成功。GOAG 平均成功率 86.93%,三只手都高于对照。
| 方法 | Barrett | Allegro | Shadow | 平均 | 秒/抓(Shadow) |
| DFC | 83.10 | 82.71 | 72.15 | 79.32 | >1800 |
| GenDexGrasp | 70.26 | 71.48 | 71.15 | 70.96 | 14.65 |
| DRO-Grasp | 78.30 | 75.80 | 63.30 | 72.47 | 1.72 |
| GOAG(无力闭合) | 86.30 | 91.20 | 74.70 | 84.07 | 0.15 |
| GOAG | 87.40 | 93.20 | 77.90 | 86.93 | 0.20 |
去掉力闭合仍有 84.07%,说明接触先验本身已经带着可用的力学结构。DRO-Grasp 单次看起来更快,时间随抓取数线性涨;GOAG 把候选向量化进同一个能量,大批量时更稳。
跨库泛化用 Shadow Hand 测 3,438 个物体。对照方法每个数据集重训,GOAG 只在夹爪运动学上训一次:DexGraspNet 43.07、UniDexGrasp 49.51、MultiDex 77.90、RealDex 37.37、DexGRAB 62.13,平均 53.97%,五库里第二,距每库重训的 DGA(58.48%)差 4.5 点。真机是 7 轴臂加 Allegro 左手,YCB 里成功抓起 11 个物体,没有给出逐物成功率表。
物体–抓取成对数据库不再是灵巧抓取学习的入场券。换物体不必重做几千 GPU 小时的仿真标注,换夹爪才需要按新手的运动学重采样。对要上新 SKU、新工具的产线,这条不对称很值钱:物体侧零样本,夹爪侧一次建模。
数字上这是扎实的渐进。MultiDex 上领先清楚,跨库平均仍低于为每个数据集特训的 DGA。物体无关不等于夹爪无关,也没有把功能意图写进生成过程。同一组作者随后的 CoToGrasp 就是在这条骨架上加接触拓扑条件。
论文没有独立的局限节。位姿采样绑在「物体能被包进夹爪工作空间」的尺度上,大物体明确变差,作者只说换采样策略「可能会」更好,没有数字。力闭合用接触区质心、忽略重力,和最终 Isaac 物理成功不是一回事。训练–推理域偏移(夹爪几何进网络、物体几何进网络)靠 BPS 硬转,消融不够完整。真机 11 件是展示,不是对照实验。6 类抓取覆盖高频日常动作,边角拓扑不在模型里。