Real2Gym: Building Gyms from Videos, Bringing Skills to Robots
Kerui Ren, Yingxiang Xu, Kaiwen Song, Linning Xu, Bo Dai, Mulin Yu, Tao Lu
cs.CV
2026-09-29
Real2Gym把人与机器人演示建成可物理执行的仿真gym，智能体在仿真积累技能后不改权重迁到真机。24个场景成功率87.5%，比GPT-6 Astra Direct Mode高16.7%、token约少74.9%；Franka四任务真机成功率高出33.3%。
机器人靠试错自我改进，真机上贵且险：重置慢，失败可能撞坏手臂或环境，要人盯着，硬件磨损快，失败后把物体摆回初始状态也很难。仿真能并行、能重置，但几何、关节和接触必须对得上真实演示。
RialTo 这类管线要扫场景、修网格、建关节、调物理，换新任务人工量大。多模态模型已能从视频出 Blender 场景。论文对照发现 GPT-6 Astra 重建里物体尺寸、相对布局、相机外参仍经常不准。尺度错了抓取间隙就歪，相机偏了演示动作对不上画面。精细操作里这些误差变成穿透、空抓、接触失败，仿真执行不稳，后面的探索就失去保真度。
上海人工智能实验室的 Real2Gym 分两段：先把视频建成可执行 gym，再在里面攒技能。输入是人的或机器人演示，外加目标 URDF。
建环境三步。几何从首帧来，单目用 MoGe-3，多视角用 π³ 的 Pi3X；SAM2 跨视角分割并保身份，标定相机和度量线索锁尺度。遮挡用 RGB 轮廓和最多十帧补全，URDF 机器人放进同一坐标系，重投影同时修物体位姿和相机。动作按接触、抓取、支撑、容纳的拓扑变化切关键帧；有关节记录就直接用，人手则把接触映射到目标臂。智能体按五个诊断维自检：主偏差、相机对齐、相对摆放、接触/穿透、外观。对齐后丢进 MuJoCo 跑原生物理，先调接近和接触朝向，再验闭合、抓稳、支撑、释放，最后整段执行，轨迹导回 Blender 做三路 RGB 对照。通过校验的种子场景再单独扰动几何、位姿、支撑高度、材质、干扰物、背景、光照，每套都要过物理和跨渲染器一致性，失败打回修。
技能不改权重。策略是 GPT-6 Astra medium，每次输出一段子任务 Python：入口条件、中间检查、可观测完成条件，内部调 SAM3、GraspNet，再发位姿和夹爪命令。一轮可以串接近、闭合、验抓。回合后另抽技能：适用条件、步骤、效果检查、相对物体的运动规则、恢复指引。运动绑在物体锚点上，换位置用当前观测重实例化。仿真和真机共用感知-控制接口。
重建评测用 DROID 12 个机器人场景和 EgoDex 12 个第一人称人手场景，各含易、中、难各 4 个。GPT-6 Astra high reasoning 按 0-100 打内容对齐、视角对齐、动作保真、仿真成功分。
| 方法 | DROID 视角对齐 | DROID 仿真成功 | EgoDex 仿真成功 |
| GPT-5.6 Sol xhigh | 24.17 | 48.96 | 46.77 |
| GPT-6 Astra Medium | 30.00 | 71.08 | 56.59 |
| Real2Gym | 70.83 | 80.88 | 85.76 |
DROID 视角对齐比 Astra 高 40.83 分；EgoDex 仿真成功分 85.76，相对 Astra 的 56.59 提高 51.5%。这四项是模型当评委，和后面的任务成功率不是同一套数。
智能体在这 24 个 MuJoCo 环境里执行，禁止读仿真器真值。Direct Mode 基线拿到同样的观测、URDF 和 API，逐步选动作。构建、策略、抽取都用 Astra medium。每任务 50 次模型决策、每次代码最多 600 步控制。
| 方法 | DROID 成功率 | EgoDex 成功率 | Token（百万） | 耗时（分钟） |
| GPT-5.6 Sol | 58.33% | 41.67% | 8.57 / 13.63 | 25.72 / 28.73 |
| GPT-6 Astra | 75.00% | 66.67% | 1.42 / 2.56 | 7.81 / 10.31 |
| Ours | 75.00% | 83.33% | 0.64 / 0.66 | 8.60 / 9.09 |
| Ours（复用技能） | 91.67% | 83.33% | 0.51 / 0.49 | 6.32 / 7.05 |
有技能后平均成功率 87.5%，Astra Direct Mode 为 70.8%，高出 16.7 个百分点，policy-execution token 大约少 74.9%。未攒技能时平均已是 79.2%，token 少 67.3%。基线逐步决策，这里一次生成整段阶段代码。技能把 DROID 的 D10、D11 翻成成功，D5 仍失败；EgoDex 的 E11、E12 有技能也过不去。
真机为 7 自由度 Franka Emika Research 3 + Robotiq 2F-85，腕部和外部各一台 RealSense，每任务 3 次：积木放盘 100%（3/3）对 33%（1/3），积木略宽于夹爪水平跨度，基线水平抓卡住；挂杯两边 100%，总耗时 1302.7 秒对 1522.7 秒；杯子进微波炉并关门 100% 对 33%；窄层板插盘零样本两边都是 0%。四任务合计 9/12 对 5/12，高出 33.3 个百分点。层板任务从一条未标定第三人称人手视频重建孪生，仿真第三次迭代成功率 100%，技能迁回真机后 100%。
对已经在用 coding agent 控臂的人，路径很具体：一条演示视频加 URDF，先得到可重置、过了原生物理的 gym，再把成败蒸馏成相对物体的技能，真机按当前观测重接地，不微调权重。阶段级代码减少模型往返，SAM3 和 GraspNet 把定位和抓取从纯视觉推理里拆出去。
它补的是视频到可执行平行环境，不是新的模仿学习或 RL 算法。对照是同一个 Astra 的 Direct Mode，没有和 RialTo、Agentic Real2Sim 比工时。真机四种桌面任务、每种三次。适合跟进的场景窄：缺的是从视频快速得到可物理执行的 gym，并且接受大模型当策略。
论文写了三条。腕部与固定相机对不齐时，Pi3X 点云会重影、分层。阶段级代码省交互，但缺高约束操作需要的局部细反应。真机只覆盖平行夹爪的 Franka，没测灵巧手和人形。
评测还留缺口。重建四项分由 Astra 打，场景构建也是 Astra medium，评委和被评系统同源。真机每任务三次；层板 0% 到 100% 是单任务、单条人手视频。EgoDex 是人手重定向到双 Franka，重建分高并不等于人手技能已变成双臂策略。Direct Mode 逐步决策、这边一次写整段代码，token 差距有一部分来自程序粒度。