伯克利新法 Do as I Do:用普通人视频训练灵巧机械手操作
micoolcho · x · 2026-09-24
UC Berkeley 团队(Bhawna Paliwal、Haritheja Etukuru、William Liang 等,导师含 Pieter Abbeel、Jitendra Malik、Mahi Shafiullah)发布 Do as I Do 研究与配套播客节目。
核心思路是把海量单目 RGB 人类视频转化为可用的机器人操作数据:
- 从第一/第三人称的野生视频源中重建手-物体交互
- 将重建结果重定向(retarget)为多指灵巧机械手在真实世界可执行的动作序列
- 在带真值标注的数据集和网络爬取视频上,手-物交互估计与灵巧操作轨迹提取均超越此前 SOTA
- 已在真实机器人上验证 10 种动作,覆盖多种物体几何与抓握方式
论文与代码均已开源,团队还给从业者提出了一套采集人类操作数据的实践指南(playbook)。RoboPapers 播客即将播出对作者的完整访谈。
所属事件:伯克利 Do as I Do：人类视频训练灵巧机械手(3 条相关)→
「具身」频道最新
- 39 块肌肉模拟之手练 4.26 亿步，从 0/9 到 9/9 姿势全达成 — MaziyarPanahi · 2026-11-11
- Origami 携手 Palatial 建 real2sim2real 灵巧工厂,下周开源 100 个数据集 — ybisk · 2026-11-11
- 可训练望远镜模型助力 Nature 论文：灵敏度提升 2–15 倍发现系外行星 — bravo_abad · 2026-11-11
- Tersus GNSS MVP S1 扫描数据入 LichtFeld Studio,点云干净出高质量 Splat — janusch_patas · 2026-11-11
- 用 ESPHome 刷机，让家中廉价 IoT 设备重获新生 — haydendevs · 2026-11-11
- NYU 新方法:看人做 5 分钟家务,机器人就能学会擦桌子 — CyberRobooo · 2026-11-11