DexGPT 开源：GPT 从一段手部视频自动写出 real2sim 流水线

animesh_garg · x · 2026-09-10

作者展示 DexGPT：只给 GPT 一段人手操作的单目 GIF，模型自行写出完整 real2sim 流水线——手部追踪、IK 重定向到两只 22 自由度 Sharpa Wave 灵巧手、抓取优化，全程零人工代码，项目已开源。在 MuJoCo 中对 203 个录制状态做被动铰链验证：铰链 RMSE 5.18°（标准 <10°），手/物体最大穿透 5.62mm（标准 <5mm），手与物体接触帧占 99.5%。不过作者标注为实验性项目：物理验证标准未完全达标，稳定积分不等于物理真实的操作。转发者 animeshgarg 感叹一个月前这还需大量工作，进展惊人。