上海 AI Lab 发布 Real2Gym:从视频自动搭建可交互训练场,真机成功率超 GPT 33%

Shanghai-AI-Laboratory · hf · 2026-09-30

上海人工智能实验室提出 Real2Gym,一个 agentic 的 Real2Sim2Real 框架:把人类与机器人的操作演示转化为可交互的仿真训练场,再把仿真的技能迁移到物理机器人。Real2Sim 模块重建可编辑场景、对齐物体与相机、通过原生物理执行验证动作可行性,并生成带可行性检查的任务变体;agent 在其中生成操作阶段代码、观察结果,把成功与失败经验蒸馏为可复用的任务流程、物体相对动作与恢复策略,通过统一感知-控制接口指导仿真与真机执行,全程不更新模型权重。评测显示其环境重建成功率比 GPT-6 Astra Direct Mode 高 16.7%、策略执行 token 少约 74.9%,在 Franka 真机四项任务上执行成功率高 33.3%。