Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors
Hao Li, Fangzhou Hong, Zhaoxi Chen, Hui En Pang, Kairui Hu, Mingze Sun, Runmao Yao, Xinhao Ji, Xiyuan Zheng, Xuanli Chen, Yalun Dai, Yap Kim Hui, Dingwen Zhang, Yuanyuan Gao, Ziang Cao, Cheng Huang Yean, Jackson Peng, Rui Duan, Yaobo Liu, Zetong Wang, Ziwei Liu
cs.CV
2026-11-13
现场不用机器人：1,589 个度量场景加 131 小时第一视角任务，一次采集复用为仿真环境、机器人轨迹与三个 benchmark。
GPT-6 Astra 这类 foundation model 能看着图像直接控制机器人，但到了真实环境的长程、多接触任务就露馅：RoboDojo 42 个任务平均成功率 22.48%，赢过作对照的 40 个公开 policy,却连四分之一都没到；11 次插头插入零成功，23 次导航搜索只成 9 次。卡点是数据供给。训练可靠的机器人 policy,既需要人怎么做事的示范，也需要能反复 rollout 和评测的交互环境，两边都贵：参照物 DROID 用 50 名操作员、12 个月才攒出 350 小时真机遥操作。语言模型有写清楚的 scaling law,physical AI 连「该堆什么数据」都还没共识。Ropedia Xperience 2 在前作 1 万小时第一视角片段的基础上，补上 1,589 个度量级场景扫描，以及把行为配准进场景坐标系的管线。
采集协议两步，一个操作员跑完，现场不出现机器人，也没有动捕设备。先用手持 LiDAR 扫描仪把场景扫一遍，得到米制、重力对齐的 mesh 和 3DGS;操作员再戴上 HOMIE 头戴记录器逐个做任务。HOMIE 有四个全局快门鱼眼相机(两前两后)，前向双目供 SLAM、深度和手部估计用。
自动化流水线产出 6-DoF 相机轨迹、双目深度、MANO 手部姿态(每手 21 关节)、EgoAllo 估计的 SMPL-H 全身运动(52 关节，腿部观察不到、靠动作先验补)，以及多模态大模型生成的任务、子任务、动作三层语言标注。配准是关键一步：SIFT 加 RANSAC、PnP 把录像帧定位到扫描重建上，Umeyama 对齐求出录像到场景的变换，留出帧误差、重力一致性加 ICP 检查给出 PASS/WEAK/FAIL 质检标签。此后视频、轨迹、手和身体动作全部落在同一个米制场景坐标系里。
复用是重头，同一份采集喂四条机器人数据生产线：Real-to-Sim 把扫描转成交互仿真环境(一个厨房拆出 217 个支持部件级交互的物体)；动作重定向把录像搬到轮式人形机器人上；虚拟遥操作让操作员在仿真场景里实时操作、场景自动复位；长程轨迹生成在仿真里自动 rollout 多子任务轨迹，扩量只花算力。经济账：采集成本跟操作员走、不跟机器人走，一次扫描服务多条任务录像，离线之后数据还能继续长。
发布 1,589 个扫描场景(1,610 个完成质检的扫描保留 98.7%),库存共 596 个地点、74 个任务、4,230 条录像、131 小时；分级为 Perfect 9.3%、Usable 58.8%、Reuse 31.9%(部分覆盖或重建缺陷)。三个 benchmark 共用 20 个场景、以扫描重建为真值：
| 方法 | 指标 | 结果 |
| Boxer(3D 检测) | AP25 / AP50 | 24.69 / 6.09 |
| 其余 6 个检测方法 | AP25 | 全部低于 7 |
| Gemini-2.5-Pro(空间智能) | 总体准确率 | 74.2% |
| HoliWorld-VL-4B | 总体准确率 | 67.8% |
| 其余开源模型最高 | 总体准确率 | 60.4% |
| π3(深度与几何) | 轨迹 ATE、表面 F-score | 三档输入密度全最佳 |
检测侧没有任何方法 AP50 超过 7,LLaVA-3D 和 SceneScript 直接零分，真实杂乱场景的紧 3D 框仍是硬骨头。几何侧 DUSt3R、MASt3R 在 Dense 档 OOM,CUT3R 的 pose AUC 从 Sparse 的 0.4103 掉到 Dense 的 0.0625,视图多不一定更好。空间侧所有模型高度题与相对位置题至少答对 74%,距离题没有模型超过 34%;4B 的 HoliWorld-VL-4B 压过全部更大的开源模型，也压过 GPT-5 High 的 65.8%。
机器人侧是单场景演示。重定向在同场景四段录像共 10.3 分钟动作，底盘行驶 96 米，指尖中位误差 0.40–0.55 cm、95 分位低于 2 cm,速度、力矩、ZMP、碰撞检查逐帧通过。长程生成跑一个 8 子任务任务(取杯、开微波炉、加热、取出、推开卧室门、放上床头柜等)，30 个留出初始状态 30/30 全部完成、零规则违反，单条轨迹约 2.2 分钟，生成一条花 10–16 分钟机时。Real-to-Sim 对照里，只用图像、不喂 3DGS 的 GPT-6 Astra 搭出的场景物体会变色、变形、挪位，带度量几何的场景与 3DGS 逐视角对得上。
对机器人学习团队有三层用处：1,589 个米制扫描直接给深度、重建、检测、空间推理当真值，三个现成 benchmark 拿来就能评模型；Real-to-Sim 让任何空间扫一遍就有可交互仿真环境，配自动复位和纯算力扩量的轨迹生成，补演示的边际成本远低于真机遥操作；「环境与行为联合采集、统一坐标、持续复用」这套协议，是给 physical AI scaling law 打的地基。
也要说清，这是数据集与基础设施论文，不是能力突破：benchmark 只有 20 个场景，机器人演示各是单场景概念验证，没有 sim-to-real 的训练闭环。
作者自列：发布集 87.4% 是家居内景，偏科明显；31.9% 的 Reuse 级只有部分覆盖；质检等级混有政策性豁免(91 个无质检结果的按 Usable 保留、33 个冲突取最好等级)，不构成对每个重建的统一复核；手和身体动作是算法估计而非动捕真值；语言标注由模型生成；单个刚体变换修不了录像内部的 SLAM 漂移。
还有两处存疑。重定向把录像放慢 2 倍再执行，通过全部物理检查只说明轨迹动力学可行，能不能当训练数据、人手到灵巧手的语义等价性，论文没有验证。三个 benchmark 的 20 个场景取自自家采集，规模更像 sanity check,拿它排名要谨慎。