Dex4D 灵巧手方案:点轨迹策略+视频生成规划,零真机数据泛化
chris_j_paxton · x · 2026-09-05
CMU 研究者 Yuxuan Kuang 等发布 Dex4D,面向可泛化的 sim-to-real 灵巧操作。
核心构成:
- AP2AP(Anypose-to-Anypose)任务无关策略:把操作抽象为将物体从任意初始 3D 姿态变换到任意目标姿态,不依赖任务结构、预设抓取或运动基元;以成对点轨迹编码(Paired Point Encoding)保持当前点与目标点的对应关系与置换不变性。
- 在仿真中用 3000+ 物体训练,可零真机数据采集、零微调直接部署到真实机器人。
- 高层规划器用视频生成 + 4D 重建,在多样物体、任务、场景、视角及外部扰动下工作;不用平行夹爪、不用遥操。
项目页、论文、代码(仿真/视觉/硬件)均已开源。
「具身」频道最新
- Festo 仿变色龙软体抓手可自适应抓取不同形状物体 — DoctorJosh · 2026-09-05
- 语音召唤+指向清洁:声控扫地机器人演示引围观 — omooretweets · 2026-09-05
- 1500人现场机器人格斗赛,全程用Foxglove遥测并事后AI复盘 — jonstephens85 · 2026-09-05
- Cybercab 落地 Austin，特斯拉全方向招聘 AI 工程师 — elonmusk · 2026-09-05
- 马斯克转发:Cybercab 40 英里巡航时速下仅 40 分贝 — elonmusk · 2026-09-05
- 把机器人动作当音频波形压缩,NAC 构建 VLA 训练动作词表 — YuXiang_IRVL · 2026-09-05