NTU 团队开源 RopediaW0：万小时人类视频训练跨本体世界模型

青稞AI · wechat · 2026-11-05

南洋理工大学 MMLab@NTU 与 Ropedia 等机构发布并开源具身世界模型 RopediaW0，解决机器人数据换本体就失效的老问题。

核心方法：用「相机位姿 + 投影骨架」统一接口——移动由相机位姿描述，操作由投影到图像坐标系的骨架表示（人类 21 个手部关键点，机器人用原生前向运动学投影对齐），让人形、机械臂、夹爪共用同一个模型。

数据与模型：Xp-Data 数据集经五阶段清洗，含约 1 万小时人类第一人称视频（14 个公开数据集+自采）和 3 千小时机器人视频（13 个公开数据集），标注分几何/运动学/语义三层。模型为 latent video diffusion，dense 5B 与 A14B MoE（约 27B 总参、14B 激活，基于 Wan2.2-I2V）两种规模，先人类视频预训练、再混合 mid-training。

结果：A14B 在 Ψ0 零样本 17.36dB，超过 Cosmos3-Nano（16B）全量训练的 16.55 和 Cosmos3-Super（64B）的 15.73；人类预训练数据越多，人和机器人预测都越准，呈 scaling 效应。蒸馏后 4 步学生匹配 50 步教师，提速约 7 倍，支持分钟级 rollout，可接 Quest3 实时生成第一人称 VR 视频。LIBERO-Plus 上仅 3 条演示时 23.97% 对 FastWAM 21.44%，数据越少预训练越值钱。

一作刘天齐将于 11 月 5 日晚在青稞社区直播分享。论文：arXiv:2610.26855，代码已开源。

原文链接 →

「具身」频道最新

更多「具身」频道 AI 资讯 →