KAIST RoboTryOn:把人类演示视频「试穿」成机器人视频,成功率 2%→60%
kaist-ai · hf · 2026-11-04
KAIST 与 RLWRLD 提出 RoboTryOn,将人→机器人演示转换类比为虚拟试穿:保留人物动作、把「衣物」换成目标机器人本体。
- 动机:机器人基础模型适配新任务依赖昂贵的遥操作演示;在人类视频上叠加渲染机器人或重定向姿态,对高自由度机器人会留下显著视觉/动作鸿沟。
- 方法:以参考机器人图为条件,把人类视频转换为目标机器人视频,保留原任务、物体与背景;关键帧自回归翻译并以人类手部骨架条件化视频合成保持一致性;再用逆动力学模型(IDM)从合成视频推断动作标签。
- 结果:仅用合成数据训练的策略,在含挑战性双臂操作的新任务上平均成功率从 2% 提升到 60%,全程零真实机器人演示;效果可比纯遥操作数据训练,而采集成本仅约 1/3。
大幅降低机器人演示数据采集成本,是数据合成方向的亮点工作。
「具身」频道最新
- 萝卜快跑香港东涌两周公众试乘收官，百度自动驾驶出海再进一步 — Baidu_Inc · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04
- Chris Paxton：交互式机器人仿真是未来，但数据瓶颈明显 — Scobleizer · 2026-11-04
- KAIST 提出 DreamX:视频扩散模型成为通用潜在动作学习器 — kaist-ai · 2026-11-04
- INMO 新款 AI 眼镜亮相:125g 双 1080p 屏,早鸟价 799 美元 — Scobleizer · 2026-11-04
- DISCO 蒸馏树搜索入选 CoRL 2026 最佳论文六强 — yining_hong · 2026-11-04