SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation
Bowen Jing, Mingxin Wang, Ruiyang Hao, Chenchen Ge, Hanwen Shen, Junjie He, Yang Cui, Yiming Hou, Weitao Zhou, Jiawei Wang, Minglei Li, Dandan Zhang, Ding Zhao, Houde Liu, Xiaofan Li, Si Liu, Ping Luo, Haibao Yu
cs.RO
2026-08-19
SoftVTBench给出4000条视触觉演示和变形感知成功率DSR。十二个分布内配置中，成功轨迹有0.7%到24%变形超标。分布外触觉六组全提高任务成功，五组提高DSR。
操作基准几乎只问任务完成了没有。对软体来说这不够。松抓会滑，抓太紧会把面包捏扁，两种失败在「放到了」这一栏里可以长得一样。视觉在接触开始后往往被手挡住，触觉才能直接看到接触几何、剪切和局部压缩。
缺的不是又一个指标，是一条对策略可见、对评分隐藏的记录：策略能用视触觉，评分用物体自己的物理状态。现有套件拆开了这四件事：完整任务、三维可变形物体、策略可见触觉、评分用的隐藏变形。SoftVTBench 要四件同时给。
数据在 Isaac Sim / Isaac Lab 里采。4000 条脚本专家演示，四十个抓放任务，四个诊断套件：物体软、空间软、以及几何外观质量匹配的刚体孪生。每个套件 10 个任务、1000 条演示。二十赫兹对齐第三人称和腕部 RGB、双指触觉 RGB 与标记运动、本体感觉、语言、夹爪的二值和连续两种指令。触觉按 TacEx 的 GelSight Mini 配置渲染。评分侧另存 FEM 节点，训练和评测都不给策略。
变形量是去掉刚体搬运后的节点 RMS 位移，再除以初始包围盒对角线。训策略之前，脚本抓取扫描夹爪闭合，用稳定抓取的 90 分位定物体公差 τ。DSR 只统计既完成任务、峰值归一化变形又不超过 1 的 episode。TSR 仍是纯运动学完成率，TSR 减 DSR 就是「放到了但捏超了」的比例。
分布内每套件 500 条 held-out。分布外只动一个因素：光照、质量或杨氏模量，共九种条件。对照策略是 Diffusion Policy、π0.5、FastWAM，各配视觉-only 与视触觉。
十二个分布内可变形配置里，DSR 全部低于 TSR。Diffusion Policy 视触觉在 Object-Soft 上 TSR 40.0%、DSR 30.4%，差 9.6 个百分点，占该配置成功轨迹的 24%。FastWAM 的违规份额只有 0.7%–6.5%，空间套件上 TSR 与 DSR 相差不超过 0.4 个百分点。
| 配置 | TSR | DSR |
| Diffusion Policy VT-C Object-Soft | 40.0% | 30.4% |
| π0.5 VO-C Object-Soft | 41.6% | 38.4% |
| FastWAM VT-C Spatial-Soft | 56.4% | 56.0% |
刚体孪生对照说明，变形成本不是软体的固定税。π0.5 在物体变化轴上从刚体 60.0% 掉到软体 41.6%；Diffusion Policy 和 FastWAM 只掉 2.6 和 2.0 个点，落在分辨率里。空间轴上 FastWAM 在软体上反而高 12.0 个点。
把触觉和夹爪粒度拆开更必要。π0.5 在 Object-Soft 上，连续控制单独把 TSR 从 VO-B 的 30.2% 拉到 41.6%；只加触觉的 VT-B 是 41.0%，两者合在一起 41.4%，并不比连续控制更高。VO-C 与 VT-B 的 TSR 只差 0.6 个点，DSR 却是 38.4% 对 28.0%。用 VO-B 对 VT-C 会把执行粒度的增益记到触觉头上。
分布外，视触觉在六组对比中 TSR 全胜，DSR 五胜。π0.5 视触觉在 Object-Soft 上相对分布内几乎不掉（TSR 41.4%→41.0%），视觉-only 从 41.6% 掉到 35.8%。ID 里触觉是否加分是混的，OOD 里方向更稳。
完成率和接触质量不是同一张榜。要做食品、软包装、医用材料，只报 TSR 会把捏超标的轨迹算成成功。基准把触觉、连续夹爪、刚体孪生拆开，能避免「加了触觉所以变好」这种归因。触觉融合本身仍是开放问题：ID 里视触觉并不稳赢。FastWAM 证明完成和守形可以对齐，这不是软体操作的宿命权衡。
全仿真。附录写明 Taxim、FOTS 的真机验证不能平移到这套资产和接触条件，没有做本基准的 GelSight 对照。公差是操作型评分线，不是材料破坏阈值。专家演示全部守在公差内，学到的违规来自策略，但演示是脚本专家，不是人。Diffusion Policy 没有语言条件，空间套件里两个外观相同实例只靠指令区分，它的空间分数被这一点拖累。刚体视触觉若干行是从连续检查点解码二值夹爪，只能当旁证。