DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation
Haoyu Wang, Siyuan Qian, Yanjun Li, Zeyu Zhang, Yandong Guo, Boxin Shi, Hao Tang
cs.RO, cs.CV
2026-09-30
把探索噪声显式排成训练步数的退火曲线,三种 RL 更新规则下灵巧操作真机 Target 成功率最高从 25% 升到 85%。
灵巧手抓取的 RL 有个内生矛盾:动作噪声用来试探手指和物体的接触,可一旦抓住,同一份噪声又会把精细控制搅坏。理想情况是前期噪声大、后期收窄。PPO 把动作标准差当可学习参数,实际学得极慢:mustard 瓶上三次基线跑满 5M 步,σ 从 0.20 只降到 0.185–0.186。训练结束时,策略仍挂着接近初始水平的探索噪声。
北大与 AI2 Robotics 的工作在 ViViDex 的轨迹引导设定下问一个很窄的问题:把噪声规模显式做成训练步数的函数,最终策略会不会更好?三种策略优化设置下答案都成立。
核心操作一句话:冻结 PPO 的可学习 σ,换成按累计环境步数查表的标量退火曲线,其余全部不动。每个 batch 内 σ 固定,采样和重要性比里的两个 likelihood 用同一个值。曲线在 mustard 上筛选,不做重调直接复用到其他物体,测的是 schedule 迁移,不是策略迁移。
配对比较里 loss、架构、reward、优化器设置全部固定,只动噪声;评估时双方都执行策略均值(σeval=0),把「策略学得好不好」与「部署时采不采样噪声」拆开。
归因筛查显示增益来自噪声控制本身:只排噪声,reward AUC 从 19.96 升到 27.36;只收缩更新(学习率、clip、epoch 同步调小),AUC 反而掉到 12.35。形状上,均匀线性衰减没过 95% AUC 保留门(lift 只剩 86.2%),去掉末端低噪声平台败得更彻底(lift 78.2%),最终曲线保留末端平台。
仿真(ViViDex,5 个 YCB 物体,3 个训练种子,确定性 Target 成功率):
| 设置 | 基线 | +DexPolicy |
| PPO | 32.0% | 35.7% |
| GRPO | 14.1% | 45.4% |
| FPO | 49.4% | 68.1% |
真机(RealMan RM75 机械臂 + Inspire/RH56 手,3 物体 × 20 次,每条件一个模型,共 360 次):
| 设置 | Target 基线 | Target +DexPolicy |
| PPO | 8.3% | 43.3% |
| GRPO | 10.0% | 63.3% |
| FPO | 25.0% | 85.0% |
真机 Lift 同步上涨:46.7% 到 95.0%(GRPO)、45.0% 到 93.3%(FPO)。
三个反例跟着头部数字走。共同噪声 σeval=0.10 下,GRPO 的优势反转(16.1% 对 8.7%),确定性增益不代表抗扰。PPO 的 sugar box 回报在涨,终态 Target 始终为零。GRPO 的 mustard 增益几乎全由开发用 seed 0 贡献(baseline 0/0/92.5% 对 DexPolicy 100/0.5/3.0%),刨掉 seed 0 后五物体均值仍从 15.3% 升到 37.2%。
对训操作策略的人,这是接近零成本的干预:不改 loss、不加模块,接管一个算法自己学不动的参数。三种更新规则都吃到增益,真机幅度最大(FPO +60 个百分点),说明「学到的 σ 收缩太慢」跨设置普遍存在。
第二个贡献是测量学警告:训练回报、确定性成功率、抗执行噪声是三个会分道扬镳的指标,拿 learning curve 评 schedule 会选错,该看部署条件下的终态任务成功率。也要直说:仿真里 PPO 只涨 3.7 个百分点,论文没对比同样调过参的固定低噪声基线,「优于调参对等方案」并未被证明。
作者自列:策略按物体单独训练,不涉及 zero-shot 泛化;8 个物体里 3 个基本未解决;重置、冻结、退火三个操作没分开消融;真机每条件只有一个模型,20 次试验估的是这个模型的表现,不是种子间方差;真机用的仿真器与 benchmark 不同,score 差不能当 sim-to-real gap 读。
再补两点:三个种子下波动不小(FPO 在 mug 上样本标准差 53.7 个百分点),论文明确不做显著性声明;GRPO 续训把「重新放大噪声」和「退火」绑在一个干预里,哪个起作用拆不开。