DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight
Zhongxi Chen, Yi Yang, Xinyi Chen, Mingzhe Ye, Yaping Li, Zhihong Liu, Congsheng Xu, Haonan Wang, Zhijie Deng
cs.RO
2026-11-08
用离线深度和手部运动学训练世界模型并对齐进策略,部署不解码未来。仿真从49.4%升至60.5%,真机58.3%。
灵巧手抓取时,手指绕到物体背面,相机经常看不见。认清当前画面不够,策略还得知道这段动作会把多指和场景改成什么几何关系。这种预判叫 spatial foresight(空间预见),包括关节化的手指运动,也包括场景变化。
World-action model(世界动作模型)把未来预测和出动作绑在一起,用在灵巧手上有两处卡点。深度只覆盖看得见的表面,被挡住的手指要靠 URDF 运动学和关节角来定位。部署时如果继续在线估深度,控制就绑上一条重建管线,手和物体还在动,深度得在时间上稳得住。另一类做法是推理时先生成未来图像或空间状态,再拿去选动作。纹理和背景对怎么抓帮助有限,每步控制却要付生成的计算。DexForesight 把深度和运动学留在训练里。部署只跑策略,输入是多视角 RGB、语言和机器人状态。
先训一个以动作为条件的空间世界模型,再冻住,用查询对齐把预测特征写进策略。上线不跑世界模型,也不解码未来。
手的几何不靠图像。URDF 各连杆上采固定点,用记录下来的关节角做正运动学,变到机器人基座坐标系。点粘在连杆的局部坐标上,相机外面的手指也有位置。Point-BERT 编码当前点云和一小段历史运动,同 RGB、语言、状态历史一起,进入从 RynnBrain 初始化的骨干。预测目标是每个点的位移,不同指节可以各走各的,不会被收成一个末端平移。
深度只在训练出现。真机演示用 StereoAnyVideo 从双目 RGB 离线估深度,仿真直接渲染 MuJoCo 深度。OmniVGGT 把 RGB 和深度编成几何 token,在骨干第 2、6、10、14、18、22、26 层做交叉注意力注入。第 4、8、12、16、20、24、28 层用逐 token 路由,把前面几次注入混回去。残差缩放从很小开始,免得一上来盖掉预训练特征。深度提供的是当前几何,未来帧没有深度标签。
一组 world query 去读第 12、20、28 层。未来窗口 16 帧,分成 4 段,每段抽一个时刻。示教动作相对当前状态编码,经 adapter 告诉这些 query 该预测哪一条未来。Hand Flow Expert 预测手部锚点的三维位移。Visual Dynamics Expert 预测冻结 DINOv3 特征相对当前帧的变化。两个头都先预测加在目标上的噪声,再用 Smooth L1 约束还原出来的干净值,动作条件会随机截成前缀。动作加进去之前,还有一项 context loss,要求 query 重建当前的手、状态、场景和指令。
真机示教大约 370 小时、60 个任务,分成摆放、装配与接触、旋转与关节、可变形物体、工具使用五类。带深度的最后阶段只用约 100 小时,覆盖前三类,也是后来真机要测的三类。训练三步:warmup 让骨干适应预测目标,dynamics pretraining 在全量数据上学交互,这两步都没有深度。最后才注入深度,几何编码器冻住,融合层可训,骨干和预测头继续一起更新。
对齐阶段世界模型全冻,两个预测头不执行,只用 query 当老师。策略侧的 policy query 只读自己的 RGB、语言和状态,投影到同一特征空间。一项损失拉近对应 token 的方向,另一项匹配两两余弦相似度,避免只靠拢了单个向量、query 之间的关系散掉。动作专家把这些 token 接在原有上下文后面,行为克隆照旧。策略看不到示教控制量,学到的是控制相关的动态痕迹,做不到把老师的条件预测逐点抄下来。
部署时每来一帧观测算一次增强上下文,动作采样期间复用。世界模型、深度编码器、手部点云编码器和两个未来头全部拿掉。
仿真是 DexJoCo 里的 11 项任务,每项 100 次。平台是 Franka 加 16 自由度 Allegro 手。DexForesight 接在 GR00T N1.7 上,世界模型再用 DexJoCo 的示教微调,深度直接来自仿真渲染。
| 方法 | 单臂 | 双臂 | 总成功率 |
| π0.5 | 53.0% | 13.6% | 35.1% |
| GR00T N1.7 | 61.5% | 34.8% | 49.4% |
| Fast-WAM | 60.2% | 39.8% | 50.9% |
| Cosmos3 | 59.5% | 37.4% | 49.5% |
| DexForesight | 76.3% | 41.6% | 60.5% |
总成功率 60.5%,比最强基线 Fast-WAM 高 9.6 个百分点,比骨干 GR00T N1.7 高 11.1 个百分点。单臂从 61.5% 到 76.3%,提高 14.8 个百分点。双臂 41.6%,只比 Fast-WAM 的 39.8% 高 1.8 个百分点。总分主要是单臂拉起来的。
真机是 Sharpa North,双手为 22 自由度 Sharpa Wave。配方接到 QwenVLA 上,这个骨干在同一批约 370 小时数据上预训练。关盒、装电池、拧盖各 20 次,物体位置留出,拧盖还换杯子颜色。每个方法微调 30 个 epoch。
| 方法 | 拧盖 | 关盒 | 装电池 | 总成功率 |
| GR00T N1.7 | 40% | 35% | 70% | 48.3% |
| QwenVLA | 40% | 15% | 35% | 30.0% |
| WLA | 50% | 30% | 70% | 50.0% |
| Fast-WAM | 15% | 5% | 10% | 10.0% |
| Cosmos3 | 25% | 15% | 50% | 30.0% |
| DexForesight | 50% | 45% | 80% | 58.3% |
58.3% 比最强基线 WLA 高 8.3 个百分点,比自己的 QwenVLA 高 28.3 个百分点。三个任务合计 60 次,多 5 次成功。推理耗时 QwenVLA 227.4 ms,DexForesight 230.4 ms,多 3.0 ms,论文给出的增幅是 1.3%。Cosmos3 生成 16 帧未来视频要 930 ms。真机上 WLA 会跑 World Expert,Cosmos3 同时生成未来视频和动作,Fast-WAM 推理时同样不生成未来。和 DexForesight 的差别,主要在训练时空间动态怎么进策略。
世界模型拿掉之后,策略特征里还能用线性探针读出未来手部位移。0.54 秒的三维误差从 QwenVLA 的 13.59 mm 降到 10.01 mm,少 26.3%,95% 置信区间不重叠。0.13 秒是 3.92 mm 对 4.12 mm,区间重叠,短时差看不出来。0.27 秒开始分开。
直接在 GR00T 上加预测头,不如查询对齐。下面都是 11 项仿真的总成功率。
| 变体 | 总成功率 |
| DexForesight | 60.5% |
| 直接加 hand-flow 头 | 53.1% |
| 直接加 DINO 未来残差 | 45.5% |
| 两个预测头一起加 | 49.5% |
| 直接把深度融进 GR00T | 47.4% |
| 只用动作前的世界 query | 52.7% |
| 打乱条件动作 | 41.5% |
| 去掉离线深度 | 49.7% |
| 深度 token 拼进上下文 | 42.0% |
| 预测目标换成未来动作 | 48.4% |
最强的直接预测对照是 hand-flow 头,53.1%,只比 GR00T 的 49.4% 高 3.7 个百分点。DexForesight 再高 7.4 个百分点。两个头一起加回到 49.5%。去掉动作条件只剩 52.7%,把条件动作打乱则掉到 41.5%,低于骨干。预测目标换成未来动作是 48.4%。去掉离线深度,仿真掉 10.8 个百分点到 49.7%。真机从 58.3% 掉到 43.3%,拧盖 35%、关盒 25%、装电池 70%,合计少 15.0 个百分点。交叉层融合换成把深度 token 拼进上下文,仿真只剩 42.0%。
部署侧的额外开销很小。不跑世界模型,不做在线深度,不解码未来,延迟比 QwenVLA 多 3.0 ms。场景几何和被挡住的手指被挪到离线数据上。实验室如果已经有示教、URDF 和双目录像,训练时多一个老师,上线不加模块。
涨幅要拆开看。仿真单臂相对 GR00T N1.7 高 14.8 个百分点,双臂相对 Fast-WAM 只高 1.8 个百分点。真机关盒从 QwenVLA 的 15% 到 45%,装电池从 35% 到 80%,拧盖和 WLA 同为 50%。它补的是手和物体在遮挡下的几何,没有把双臂协同抬到另一个量级。
同一骨干上,查询对齐比直接监督未来更有效。预测头强迫策略自己产出未来,对齐只要求隐空间里留着还能读出来的动态。这和上线删掉预测头是一套设计。
真机外部对照不干净。论文写明 WLA、Fast-WAM 和这里的架构、训练都不同,不能当成拿掉一个变量的实验。Fast-WAM 真机掉到 10%,更像没有训稳,不能据此说显式未来预测在真机上失败。QwenVLA 自己只有 30.0%,低于同台 GR00T N1.7 的 48.3%,28.3 个百分点里有一段是从偏弱的骨干上补回来的。相对 WLA 的 8.3 个百分点,是 60 次里多 5 次成功,真机成功率没有给置信区间。
任务面窄。真机只在有深度标签的三类里各抽一个任务,可变形物体和工具使用没有进表,每任务 20 次。仿真手是 Allegro,真机手是 Wave,世界模型在 DexJoCo 上另行微调,这不是同一套权重的 sim-to-real。双臂 41.6% 离能用还有距离。0.13 秒的探针分不出 DexForesight 和 QwenVLA,预见主要显在更晚的时刻,滑落、对不准、提前松手也没有分开统计。
训练侧也不轻。100 小时深度依赖 StereoAnyVideo,手部点依赖 URDF 和关节记录。深度怎么融很脆:token 直接拼进上下文,仿真成功率 42.0%,比不加深度的 49.7% 还低。论文把原因写成假设,拼接扰动了预训练的多模态特征。这一句没有再验证。