北大 DexPolicy:探索噪声退火让灵巧手操作成功率升至 85%
PekingUniversity · hf · 2026-10-02
北京大学发布 DexPolicy,针对灵巧手操作 RL 中“探索噪声有助于发现接触、却妨碍精准控制”的矛盾,把探索尺度显式设为训练步数的函数,从宽到窄退火,其余损失、架构、奖励与优化器设置不变。
- 在 ViViDex 轨迹引导设定下,基线 PPO 在 5M 步后仍维持初始动作噪声,因此需要显式控制探索规模;
- 对比 PPO、无 critic 的 GRPO 延续训练与流参数化 PPO 变体(FPO)三种策略优化设置:五个 YCB 物体上平均确定性 Target 成功率分别从 32.0%→35.7%、14.1%→45.4%、49.4%→68.1%;
- 真机 RealMan RM75 + Inspire/RH56 灵巧手上,360 次试验中 FPO 将平均成功率从 25.0% 提到 85.0%,GRPO 到 63.3%,PPO 到 43.3%;
- 发现训练回报、确定性成功率与对执行噪声的容忍度相互解耦,调度应按目标执行条件下的最终任务成功率评估。代码与项目页已开源。
「具身」频道最新
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- iFixit 拆解苹果 HomeView:满机胶水,维修难度劝退 — Resident-Fall4351 · 2026-11-19
- 移除人类视频后机器人OOD成功率从60%暴跌至7%,泛化全靠人类视频 — gui_penedo · 2026-11-19
- 假肢公司 PSYONIC 的机械手被 90+ 机器人机构采用 — DhowCIO · 2026-11-19
- 仿真器误设导致过度自信:SPEED+ 基准上的sim2real方向性稳健性研究 — Nikolay Dolgov · 2026-11-19
- Doppel 世界模型:先渲染机器人身体,一个模型通吃 8 种具身 — mangahomanga · 2026-11-19