Open-HumanWAM: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
Juncheng Ma, Jiaxin Li, Jiankai Tu, Bo Liang, Guodong Lv, Yufan Deng, Junzhe Tang, Liangzhu Yang, Chen Bian, Shukai Gong, Yintianrun Zhang, Zicong Cao, Baohao Zhu, Jianxin Bi, Tengfei Yan, Yinyuan Zhang, Kewei Zhang, Xinglong Chen, Kaiqi Chen, Duomin Wang, Xiaotian Tang, Liang Tan, Li Li, Yuan Xu, Haosen Yang, Yuqi Wang, Jingfei Xia, Songyan Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Tat-Seng Chua, Daquan Zhou
cs.CV
2026-11-05
北大牵头开源 5 万小时第一视角视频语料与训练配方,预训练的世界-动作模型在 RoboTwin 2.0 平均成功率 88.65% 创 SOTA。
机器人 foundation model 卡在数据上。遥操作采真机轨迹贵且慢,多样性堆不起来;第一视角人类视频(egocentric video,头戴相机拍下的操作画面)便宜量大,覆盖厨房、车间、实验室,但拿它预训练机器人要过三关:哪些片段值得学、手部动作怎么映射成机器人动作、预训练换来多少闭环成功率。EgoScale、HumanScale、Dyna-2 验证过这条路,结论散落在各自配方里,有的只报 held-out 动作 loss,也没有可复现的开源管线推到几万小时。Open-HumanWAM(北大牵头,联合 NUS、MIT、UCSB、NVIDIA)补上空位:5 万小时语料、清洗与训练管线、checkpoint、评测套件全部开源。
语料从 10.4 万小时原始视频筛到整 5 万小时、3590 万条 clip,HumanNet 网络视频子集占 40,744 小时,其余来自 EgoSuite-Open100K、Gen-HumanEgo、EgoDex、EgoVerse。清洗对准三类问题:手不可见或只剩手指贴边、手部与相机轨迹抖动(按平滑残差、加速度、jerk 阈值切段)、长时间静止(32 帧滑窗检测后裁剪)。
所有轨迹对齐到 16 维双手 EEF 空间:每只手位置 3 维、四元数 4 维、夹爪开合 1 维,统一进相机坐标系,腕部轴系按解剖轴做 Procrustes 对齐。这不是工程洁癖:同一份 1,000 小时四源数据,对齐后 scene-OOD(换背景与桌面纹理的分布外评测)成功率 52.2%,不对齐只有 43.2%。
模型侧,HumanWAM-Vanilla 给视频生成骨干 Wan2.2-TI2V-5B 挂一个等深 action expert,组成 Mixture-of-Transformers,联合去噪未来视频和 32 步动作 chunk。注意力用 IDM 方案,训练时动作以带噪真值未来视频为条件,推理时先生成视频再出动作;消融里它与相机系绝对位姿的组合最优。
进阶版 HumanWAM-Goal 把 5 万小时人类数据和约 14.6k 小时机器人数据混合预训练,再加 goal image 条件:给一张目标状态图,预测通向该状态的动作。动作空间扩到 49 维,夹爪开合改成以 0.12 m 为基准的物理口径,人手张合与机器人夹爪宽度共用同一把尺。
下游成功率随预训练小时数对数线性增长:SR = a + b·log10(H)。isolated attention 下从 100 小时到 10,000 小时,clean 71.2%→80.0%,scene-OOD 25.2%→58.1%,random(背景、光照、杂物、桌高全随机)8.4%→28.7%,不做预训练的基线只有 69.5%、16.2%、2.1%;R² 分别为 0.971、0.949、0.877,数据每翻十倍,scene-OOD 涨 15.88 pp,clean 只涨 4.43 pp,收益集中在分布外。IDM 架构下 100→50k 小时,scene-OOD 49.1%→73.2%,random 21.5%→42.9%,趋势一致。
多样性比堆时长划算。同为 5,000 小时,任务与场景覆盖随规模扩张的一组,scene-OOD 拟合斜率比固定覆盖只堆时长的一组高 4.73。人类数据还打赢等量机器人数据:500–5,000 小时区间第一视角预训练全面占优,1,000 小时人类数据胜过 5,000 小时机器人数据。
RoboTwin 2.0(每任务 50 条 clean 演示后训练):
| 方法 | Clean2Clean | Clean2Random | 平均 |
| π0.5(VLA) | 70.70 | 46.00 | 58.35 |
| GO-3 Nano Preview | 88.54 | 81.48 | 85.01 |
| PICA-WAM | 90.68 | 74.70 | 82.69 |
| HumanWAM-Vanilla(纯人类数据) | 92.08 | 68.88 | 80.48 |
| HumanWAM-Goal(人+机器人混合) | 92.70 | 84.60 | 88.65 |
实机 Cobot Magic 双臂上四个任务(叠纸杯、叠毛巾、抽屉收纳、整理桌面),换桌布换光照后无预训练基线 40 次试验只成 1 次(2.5%),HumanWAM-Vanilla 平均 67.5%。HumanWAM-Goal 零样本跑 20 个实机任务,固定 14.6k 小时机器人数据、人类数据加到 45.9k 小时后,平均成功率 20.0%→30.5%,可完成任务从 10/20 涨到 16/20;同一模型不改参数,换一张 goal image 就换一种行为。
三条可直接落地的结论。人类第一视角数据是比遥操作更划算的预训练燃料,1k 小时人类数据打赢 5k 小时机器人数据;scaling law 给出预算依据,每十倍数据换两位数的分布外增益,扩任务与场景覆盖比堆时长更陡;这是第一条全开源的第一视角 scaling 管线,语料、代码、checkpoint 全部放出,其他组可以从 50k 小时往上接。冷水也直说:world-action 架构本身没有新设计,作者自称 basic 架构,这篇的分量在配方与证据。
作者自述两条:RoboDojo 平均成功率 14.17% 仍明显落后最强模型,部分任务需要记忆与算术推理,基础架构没有对应模块;Vanilla 的 Clean2Random(68.88)落后 GO-3 Nano(81.48),归因于缺专用模块。读下来另有几处要打折:scaling law 只在 RoboTwin 一个仿真体系拟合,50k 小时之外是否仍对数线性没有验证;实机对照只有 No-Ego 一个基线,没有和 π0、GR00T 在同一设置下正面对比;50k 小时约 81% 来自 HumanNet 网络视频,腕部位姿靠估计算法,标注噪声的影响未量化;RoboTwin 基线多取自官方 leaderboard,并非同环境重跑。