CoToGrasp: Contact-Topology-Conditioned Dexterous Grasp Synthesis via Canonical Workspace Learning
Julien Merand, Boris Meden, Liming Chen, Mathieu Grossard
ECCV)
cs.RO, cs.AI
2026-08-20
CEA List把物体局部特征投到夹爪规范工作空间,按Gonzalez 21类接触模板生成抓取,训练不看任何物体。DexGraspNet上精度抓成功率30.3%对Dexonomy的10.5%,拓扑合规17.18%对14.28%。
灵巧手抓取规划长期优化一件事:这个物体能不能被抓住。力闭合稳定的解,几乎总会塌成包络式力量抓。下游任务要的往往是另一种接触:指尖捏、工具柄、手指步态,这些拓扑在无条件生成器里被大量浪费样本才能碰巧抽到。
按人类抓取分类学做条件生成,通常要把抓取类型标到具体物体网格上,数据贵到劝退。CEA List 的前作 GOAG 已经证明,接触可以只在夹爪坐标系里学。CoToGrasp 把这条路接到功能条件上:不问「抓得住吗」,问「按指定接触拓扑,怎么抓」。
接触拓扑来自 Gonzalez 的手部中心分类,21 种模板、22 个解剖接触区,标的是手上哪些表面该贴住,不标物体长什么样。训练完全物体无关:均匀抽 10,000 个运动学合法关节配置,每个配置配上全部 21 个模板,得到 210,000 条样本,零物体网格、零物理仿真。
几何桥是一套夹爪系下的规范特征工作空间。DGCNN 抽出局部点特征,用带法向对齐距离的 kNN 聚合到固定的工作空间基点上。训练时输入是夹爪点云,推理时输入是变到夹爪系并翻转法向的物体点云,两边落到同一组空间 token。Transformer 建模接触点的共现,Set Transformer 压成全局描述,CVAE 在该拓扑内部采样接触掩膜的局部随机性。宏观多模态已经被拓扑条件拆开,单峰高斯先验就够用。
推理时先做级联校验:预测掩膜和模板的对称差最多允许错一个接触区;过关后再用近似力闭合筛,不行就重采样潜变量,最多 20 次。最后用能量优化把夹爪主动表面贴到预测接触区,并给未使用的手指和手掌加 5 mm 排斥场,避免优化器把闲置指节蹭上去、把精度抓塌成力量抓。全局 6D 位姿当作外部先验,不在网络里端到端回归。
跟不调拓扑的生成器比,CoToGrasp 的物理成功率看起来更差,因为它被强迫去生成精度捏这类几何上不占便宜的类型。语义熵反而最高,速度也最快。
| 方法 | 成功率 | 语义熵 HTC | 秒/抓 |
| DFC | 72.15 | 0.7389 | >1800 |
| GenDexGrasp | 71.15 | 0.5956 | 14.65 |
| DRO-Grasp | 63.30 | 0.6504 | 1.72 |
| GOAG | 77.90 | 0.6527 | 0.20 |
| CoToGrasp | 36.94 | 0.83 | 0.11 |
Top-5 平均成功率 56.18%。跟真正的分类学条件基线 Dexonomy 在 DexGraspNet 上比,平均成功率 26.72% 对 21.13%,拓扑合规 17.18% 对 14.28%。精度类成功率 22.71% 对 12.36%,其中 M2 指尖捏 30.3% 对 10.5%。Dexonomy 在 M11、M21 上报出 60.5%、37.2%,定性看是条件失败后塌回未校验的包络抓,被记成了成功。拿掉标签一致性检查,拓扑合规掉回 14.45%,和 Dexonomy 同一档。
真实机器人是 UR10 加 Allegro 右手,YCB 物体上按指定拓扑合掌并静态握住。Allegro 缺小指,依赖五指的 M6 被关掉。非凸物体上成功率留存 58.72% 对 Dexonomy 的 37.42%,严重凹面(约 4% 数据)上拓扑合规 19.17% 对 8.94%。
功能抓取的数据瓶颈被绕开了:分类学条件不必再和物体网格绑死。对要接 LLM 高层意图的人形操作,这等于给「捏」「握柄」「包络」各留一条可控通道,而不是从力量抓里拒识。速度 0.11 秒/抓,适合在线重采样。
这是渐进但方向清楚的一步。物理成功率低于无条件规划器,是因为评价协议强迫它覆盖难拓扑;和 Dexonomy 的公平对比里,它赢在精度类和反模式崩塌,绝对拓扑合规仍只有百分之十几,严格度量下离「听指令就抓对」还远。
总体 36.94% 的成功率不能当部署数字读,Top-5 也才 56%。拓扑合规在仿真后会掉一截:手指为了力闭合沿曲面滑一点,非对称 Tversky 指数就把精度捏错分成邻近类型。6D 接近位姿靠启发式外采样,网络不负责。真机精度抓暴露了位置控制的错位:各指匀速合拢会异步接触,先碰到的手指把物体拱走。桌面场景会抬高某些只在双手或特定摆放才成立的抓取。Allegro 四指,五指模板被裁掉,分类学迁移到非拟人手还没有数字。