动作加噪当监督,世界模型预测真机策略成功率 0.47→0.79

Learning What Actions Change: Action Effect Matching for Dynamics-Faithful World Models

John Won, Yonghoon Dong, Jinwoo Shin

cs.RO, cs.CV

2026-11-19

AFFECT 往 play 数据的动作里注入已记录噪声,让世界模型匹配扰动与视觉变化的协方差,DROID 上策略成功率预测从 0.47 升至 0.79。

这篇在解决什么

机器人世界模型(RWM)的主流做法是把视频生成基础模型拿过来后训练,以机器人动作为条件生成未来视频,用来评估策略、规划轨迹、造训练数据。视频越来越逼真,但 MiraBench、RoboWM-Bench 这类 benchmark 指出同一个毛病:模型不怎么理会动作条件。同一个初始状态,抓取位置偏一点,真实结果是抓住、落空或把方块推走,模型却给几乎同一套「看着合理」的视频。

这对上游任务是致命的。拿世界模型评估策略,成功率预测不准;拿它规划,planner 会被视觉光鲜、物理错误的想象带偏。KAIST 与 RLWRLD 把问题重新表述成分布问题:世界模型该学的不是单条逼真未来,而是「在给定观测下,动作的变动会把未来观测的分布往哪推、推多远」。

方法

方法叫 AFFECT,是一个即插即用的辅助损失,分三块。

先造数据:perturbation play。 在无任务指令的人类遥操作 play 数据(56k 帧,约 100 分钟)上训一个 play policy(GR00T-N1.5 加 FLARE 目标),让它在真机上自主跑。每条动作 chunk 执行前注入时间相关噪声:整条 episode 的白噪声先按 4 步宽度做高斯平滑,避免机械臂原地抖动,再按声明的逐维尺度缩放,夹爪不扰动。执行扰动后的动作,同时把裁剪前的原样噪声记进日志。场景不重置,覆盖靠物体被推来推去自然漂移;失败的抓取、撞倒的物体全部保留,因为它们正是动作依赖的结果。关键性质:不需要从同一初始状态反复执行,不需要 outcome 标签。

再定损失:匹配「动作效应」。 两个完全冻结的编码器分别把扰动和视频压成少量标量特征。扰动特征是噪声在窗口内的带符号求和、平方和减期望这类手工统计量;视频特征取自模型自身 latent,包括通道均值变化、固定随机方向投影、时间差分统计(弗兰卡设置上共 54 个,与 16 个扰动特征组合成 864 个「测试」对)。扰动特征先做中心化,减掉的期望由声明的噪声参数闭式算出,不用估计。然后定义「动作效应」:中心化扰动特征与视频特征乘积的期望,统计上就是两者在同一场景内的条件协方差,度量「扰动偏大时视频特征是否同向、同幅度地动」。训练目标很直白:生成视频对扰动的协方差响应,要和录制视频逐对一致。数学上这是有限特征 MMD。

几个设计选择的理由值得展开:

实现上的两个坑。 生成侧的未来视频必须从纯噪声用 2 步可微 Euler 采样出来:直接复用流损失的前向预测不行,它建立在录制未来之上,无论模型用不用动作都能匹配;单步采样也不行,那得到的是条件均值而非样本,只能匹配均值效应。损失每 8 个迭代触发一次,权重校准到主损失的约 15%。minibatch 估计用 U 统计量,以 episode 为独立单元做两两乘积平均,否则平方均值的方差项会惩罚生成多样性,把模型推向 mode collapse。

结果

主指标是动作保真度:真机 rollout 与世界模型闭环 rollout 的策略成功率之间的 Pearson 相关。六个骨干×本体组合全部提升。

设置骨干Pearson(基线→+AFFECT)FVD(基线→+AFFECT)
DROID 真机DreamDojo0.468→0.790807→622(-23%)
DROID 真机Cosmos30.425→0.583910→744(-18%)
ALOHA-2 真机Cosmos30.298→0.694333→257
ALOHA-2 真机DreamDojo0.325→0.490183→188
UR5e 仿真DreamDojo0.451→0.68685→73(短视野)
UR5e 仿真Cosmos30.091→0.334470→463(短视野)

视觉指标大多同步改善,UR5e 上短长两个视野全线变好。规划端,UR5e 五个 pick-and-place 任务的平均成功率:随机选 46.7%,用基线 DreamDojo 选动作 60.0%,加 AFFECT 后 68.3%,多出 8.3 个百分点;ALOHA-2 三步长任务(开垃圾桶、扔两件桌上物品)平均再涨 8.4 个百分点。

消融把机制钉住了:把扰动特征跨 episode 打乱(placebo 匹配)后 FVD 从 256 恶化到 460,只匹配平均特征是 451,都不如什么都不加;用 20% 数据训练时增益明显缩水,说明收益依赖扰动分布的覆盖。特征定位分析显示,冻结特征的响应集中在机械臂、方块、阴影经过的格子,强度是打乱配对基线的 1.6 到 2.2 倍,静止桌面处与随机持平,信号确实来自动作引发的视觉变化。

为什么重要

想在真机上拿世界模型做 policy evaluation 或规划的人,动作保真度是绕不开的门槛。这篇给了目前性价比很高的一条路:不改架构、不打成功标签、不搞同初态重复执行,5 到 10 小时扰动 play 数据加一个辅助损失,就能叠加到 DreamDojo(2B)、Cosmos3-Edge(4B)这类现成骨干上,两类骨干、三种本体都验证过。协方差匹配这个思路也不挑领域,任何「生成器对条件变量的响应是否与真实一致」的问题都可能套用。要泼的冷水是量级:这是辅助损失带来的稳定改进,不是世界模型范式的更换,六个组合里有一处 FVD 不升反微降。

局限与存疑

论文自己承认的:AFFECT 只约束特征库里那几百个手工统计量能检测到的响应,latent 均值和随机投影未必覆盖精细的物体位姿变化;协方差按方案权平均,不同场景里反应过度与不足可以部分抵消;play policy 看得到全部相机和本体感知,世界模型只看单相机窗口,条件不完全对齐时辅助损失的最优解会偏离主损失的最优解。

读下来的疑问:成功标签靠人工看生成视频打二元判定,每个本体 12 条 episode × 4 个 checkpoint × 2 个任务,规模小且有主观性;消融只在 Cosmos3 上跑 1 万步,与主表训练预算不完全一致;规划收益在 proposal-selection 框架(5 个 checkpoint 集成加 DINOv2 成功判别器)里测得,换成单策略部署还剩多少没有验证;与同期反事实一致性方法的对比停留在定性讨论,CoCo 基线因不适配关节空间动作只复现了一半。

术语

原文与代码

相关论文

全部论文解读