Dex-One2Many:一段人类视频训出灵巧手策略,未见场景领先基线 71%
Jusuk Lee · hf · 2026-10-12
首尔国立大学、马里兰大学等机构提出 Dex-One2Many,一个 real-to-sim-to-real 框架,仅从单段人类视频学习可泛化的灵巧操作策略。
- 现有视频模仿方法受限于严格动作匹配,对未见过的初始物体位姿、目标位姿和抓取方式泛化差;纯 RL 又难探索
- 核心思路:把视频抽象为序列化场景图(scene graph)引导 RL——场景图既作为生成约束采样多样的重置状态,又为各阶段提供密集奖励
- 由于场景图约束的是关系而非精确位姿,重置状态覆盖视频之外的物体位姿与抓取,同时让探索保持短且有引导
- 全程在仿真中训练,零样本迁移到真实多指灵巧手
- 在五项工具使用与操作任务上,已见配置超基线 6.5%,未见场景泛化优势扩大到 71%
「具身」频道最新
- 旧金山机器人格斗俱乐部升级:200 磅人形机器人持钢刃对决 — cixliv · 2026-10-12
- 1X 将向 EQT 旗下企业提供至多 1 万台 NEO 人形机器人 — CyberRobooo · 2026-10-12
- 字节未发布世界模型曝光:《喜剧之王》授权,画轨迹即可生成电影预演 — vista8 · 2026-10-12
- Boston Dynamics 曝 Atlas 机器人 2019-2026 进化对比 — CurieuxExplorer · 2026-10-12
- 比亚迪人形机器人从工厂上岗转向客户服务场景 — alexmacgregor__ · 2026-10-12
- 500 小时视触觉数据集 TouchScale:机器人操作成功率 22.5%→57.5% — 2077AIDataFoundation · 2026-10-12