Ropedia Xperience 2 发布:1589 个 3D 扫描与 4230 段第一视角录像支撑 Physical AI 数据扩展
liuziwei7 · x · 2026-11-16
NTU S-Lab 刘子纬团队发布物理 AI 数据集 Ropedia Xperience 2,定位为「扩展物理环境与行为」的黄金标准:
- 规模:1,589 个公制尺度 3D 扫描场景(596 个地点)、4,230 段 74 类任务的第一视角录像,共 131 小时;全部用手持 LiDAR 扫描仪 + 头戴多目相机采集,无需部署机器人或动捕设备。
- 数据管线:重建 mesh 与 3D Gaussian Splatting、估计相机轨迹与手/身体运动、生成层级语言标注,并把录像对齐到场景几何。
- 可复用性:每个采集样本可转化为机器人学习资源——场景转成可交互仿真环境,人体动作重定向为全身机器人轨迹(模拟人形机器人指尖跟踪精度达 0.40–0.55 cm 亚厘米级),并通过虚拟遥操与自动长程轨迹生成(8 子任务,30/30 全部成功)获得更多行为数据。
- 基准与发现:发布深度/几何估计、3D 目标检测、空间智能基准;揭示若干反直觉现象——更多输入视角不一定提升 3D 几何估计(CUT3R 的 pose AUC 从 0.4103 跌至 0.0625,Dust3R/Mast3R 甚至 OOM);现有 3D 检测模型(含 LLaVA-3D、SceneScript)在真实杂乱场景的紧致 3D 框预测全部失败,AP50 没有超过 7,有的为 0;基础模型对相对位置/高度理解不错(>74%)但度量距离(<34%)和平移(<55%)严重不足,缺乏真正的度量级空间接地。
论文提出将「环境+行为」的联合采集作为物理 AI 数据采集的黄金标准,为建立环境与行为维度的 scaling law 打下数据基础。
所属事件:NTU 团队联手 Ropedia 发布物理 AI 数据集 Ropedia Xperience 2(2 条相关)→
「具身」频道最新
- Joe Rogan 盛赞 Tesla FSD:一键回家,还呼吁特斯拉对外授权 — elonmusk · 2026-11-16
- Figure.AI 人形机器人「离职出走」,视频引热议 — Distinct-Question-16 · 2026-11-16
- 开发者分享低算力训练 VLA 实战指南 microVLA 心得 — joemeno · 2026-11-16
- 多数 VLA 预训练后丢失底座 VLM 的视觉语言能力 — DJiafei · 2026-11-16
- 英伟达 AI Day Seoul 两天吸引 2000+ 开发者聚焦具身智能 — NVIDIA Blog · 2026-11-16
- Ring推出1000美元自主巡逻监控机器人Ring Rover Cam — emmanuelvivier · 2026-11-16