AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能

mangahomanga · x · 2026-10-23

CMU 团队发布 AdaDex，一种目标条件 RL 框架，仅需每项技能一段几秒钟的手-物体轨迹（来自动捕数据或真实 RGB(D) 视频的 HOI 重建），即可训练出可适配的灵巧手技能，覆盖功能抓取、物体重放、指间重定向和抛接等动态行为。

核心方法是「混合灵巧模仿」（Hybrid Dexterous Mimicking）：在两类大规模并行环境中训练共享策略——密集运动跟踪目标注入人类动作先验；加噪初始状态与目标的泛化环境用稀疏成功奖励迫使技能偏离参考轨迹仍能完成任务。这一设计解决了目标引导 RL 泛化但不自然、动作跟踪自然但不泛化的两难。方法在泛化与功能性上超越基线，并实现跨仿真器与真机迁移，代码即将开源。