伯克利新法 Do as I Do:用普通人视频训练灵巧机械手操作
micoolcho · x · 2026-09-24
UC Berkeley 团队(Bhawna Paliwal、Haritheja Etukuru、William Liang 等,导师含 Pieter Abbeel、Jitendra Malik、Mahi Shafiullah)发布 Do as I Do 研究与配套播客节目。
核心思路是把海量单目 RGB 人类视频转化为可用的机器人操作数据:
- 从第一/第三人称的野生视频源中重建手-物体交互
- 将重建结果重定向(retarget)为多指灵巧机械手在真实世界可执行的动作序列
- 在带真值标注的数据集和网络爬取视频上,手-物交互估计与灵巧操作轨迹提取均超越此前 SOTA
- 已在真实机器人上验证 10 种动作,覆盖多种物体几何与抓握方式
论文与代码均已开源,团队还给从业者提出了一套采集人类操作数据的实践指南(playbook)。RoboPapers 播客即将播出对作者的完整访谈。
「具身」频道最新
- AI 日报：Meta 眼镜 VR 化、GPT-6 语音插件、Gemini TTS 上线 — testingcatalog · 2026-09-24
- Meta 被调侃发明了电子鸡，网友直呼想要一个 — jonstephens85 · 2026-09-24
- 机器人能叠衣写码，标定相机到1mm仍要数小时 — RexDouglass · 2026-09-24
- Pokee 36B 智能体模型跑通骁龙 X2 Elite:32GB 内存全本地 — Kyrannio · 2026-09-24
- Humanoids Summit 首尔站分享 EgoSuite,下周亮相 IROS 匹兹堡 — jonstephens85 · 2026-09-24
- 港中文发布 PackLab:MLLM 闭环机器人装箱框架,超越 RL 与启发式 — CUHK-CSE · 2026-09-24