上海AI实验室等推Real2Gym：从视频构建仿真环境，机器人技能复用成功率达87.5%
量子位 · wechat · 2026-10-13
上海人工智能实验室联合上交大、浙大等团队提出 Real2Gym：从人类或机器人操作视频构建可交互仿真环境，让 Agent 在其中探索、积累技能，再迁移到真实机器人。论文与代码已开源。
核心思路：
- 多视角视频用 Pi3X 几何线索 + SAM2 分割约束物体尺度与位置，构建 Blender/MuJoCo 场景；围绕抓起、接触、释放等关键帧做交互纠错，再放回物理引擎验证可行性。
- Agent 每轮决策生成一个操作阶段的代码（而非单动作），配合 SAM3 定位、GraspNet 抓取候选，减少模型往返；成功与失败经验存入可复用技能库，模型权重不变。
结果：在 DROID/EgoDex 的 24 个场景上，重建质量与仿真成功率均优于 GPT 基线；复用首轮经验后平均成功率 87.5%（基线 70.8%），策略执行 token 用量减少约 74.9%，模型响应次数从约 31 次降到约 14 次。Franka 真机上，杯子放微波炉、挂杯等任务全部成功，「盘子上架」这类高难任务也能经仿真迭代后完成。
「具身」频道最新
- 播客解析：为何人形机器人先上战场而非进家庭 — audrow · 2026-10-13
- 播客：为什么人形机器人先上战场再进家庭 — audrow · 2026-10-13
- 人形机器人普及或需20-30年：铜锂短缺与劳动力缺口成关键变量 — JHochderffer · 2026-10-13
- Shield AI 助 Honeywell 六周完成自主飞机训练,双机 ISR 任务首飞成功 — BrettKrieger12 · 2026-10-13
- 设计高管调侃:想把苹果 HomeView 挂墙当表戴 — davidhoang · 2026-10-13
- 把摔倒变成规划问题:IROS 2015 论文用动态规划让人形机器人柔摔 — chris_j_paxton · 2026-10-13