NAVER WATCH 预训练:跨视频学人类演示,机器人成功率 40.9% 升至 68.3%

naver-ai · hf · 2026-10-14

NAVER AI Lab 提出 WATCH,一种面向世界-动作模型(world-action model)的跨视频预训练方法。与标准的同视频内下一帧预测不同,WATCH 用跨环境采集的任务配对人类演示训练:给定一条演示的视频与动作,模型需从另一条演示的当前观测出发,联合预测后者的动作与未来帧。这种「从一条演示预测另一条」迫使模型学到跨场景、跨演示者可迁移的任务交互,且只需易扩展的人-人配对,不需要配对的人-机器人数据。

效果显著:机器人后训练后,MimicDroid in-context 成功率从 40.9% 提到 68.3%(Cosmos Policy)、从 59.8% 提到 77.7%(Cosmos3),增益最大的正是未见过的场景;在无上下文后训练与跨机器人本体上也保持优势,超过视频内预训练与 co-training 基线。