机器人靠“想象”学习：视频生成助力具身智能，成功率超 80%
imjustnewatai · x · 2026-08-06
一项新研究表明，人形机器人可以通过“想象”任务过程来学习技能。
- 工作原理：给 Unitree G1 机器人一张场景图和一句任务描述，系统会生成一段人类完成任务的视频。随后提取手部、物体和深度信息，将其转化为全身机器人运动并在现实中测试。
- 自我纠错：当尝试失败时，视觉语言模型（VLM）会诊断校准错误并修改计划。
- 实验结果：在递交物品、开盒、倒水、拉抽屉四个真实任务中，平均成功率达到 81.3%。
该方法无需特定任务的遥操作或人类演示，其表现（81.3%）几乎与使用真实单次视频初始化（80.0%）一样好。
所属事件:RoboReact框架让机器人靠“想象”学技能(2 条相关)→
「具身」频道最新
- 破壳机器人4个月揽亿级融资，清华系团队杀入家庭具身智能 — 创业邦 · 2026-08-06
- 具身智能展现精细操作能力，Skild AI 被曝研究员留存率极高 — E0M · 2026-08-06
- 用 ESP32 和旋转屏重塑 2015 年的 AI 助手 — viksit · 2026-08-06
- Karpathy 开源 AutoResearch，自动化驱动具身智能突破 — teortaxesTex · 2026-08-06
- EgoHumanoid：用人类第一人称视频训练人形机器人 — micoolcho · 2026-08-06
- 马里兰大学推HumanEgo：用人类视频训练机器人 — furongh · 2026-08-06