Future Representation Distillation for Imagination-free World Action Models
Jaehyeong Jo, Sangwon Jang, Sihyun Yu, Seonghyeon Ye, Yekyung Nah, Hojung Jung, Kimin Lee, Sung Ju Hwang
cs.RO
2026-11-03
把预训练视频扩散模型蒸馏成只看当前帧的预测性编码器,免生成未来视频直接出动作,真机成功率 64%、14B 骨干 11Hz 实时控制。
World Action Model(WAM)这类策略借用预训练视频扩散模型学到的物理常识驱动机器人,现有做法都要在推理时真的生成未来视频:要么联合去噪视频与动作,要么从预测出的未来帧反解动作。代价有二。迭代去噪慢,大骨干撑不起真机闭环控制;生成的未来视频一旦失真,错误直接传给动作,基线 DreamZero 的真机失败大多伴随跑偏的视频预测。悬而未决的问题是,动作预测未必需要视频级的像素细节,预测知识可能压缩进只看当前观测算出的视觉特征里。这篇验证的正是这一点。
DreamFree 把视频扩散骨干改造成「预测性视觉编码器」,表征学习与动作学习分两阶段解耦。
第一阶段不需要动作标签,任何演示视频都能用:
第二阶段用带动作标签的机器人数据训练动作模块:Perceiver 式 latent-query readout 从编码器特征里抽出固定数量「面向动作」的 token,1B 的 DiT 解码器以这些 token、指令、本体状态为条件,用 flow matching 生成 32 步动作 chunk。部署时只有一次编码器前向,没有任何视频去噪迭代,11Hz 就来自这里。
真机 DROID 上用公开 checkpoint 开箱即测(10 任务各 5 次):DreamFree 成功率 64%,DreamZero 56%,π0.5 只有 16%;任务进度 83% 对 71.8% 对 33.5%。DreamZero 在盖毛巾、挂帽子、放螺栓这类形变与连续重排任务上全败,DreamFree 的优势恰好集中在这里。
| 设置 | 方法对比 | 成功率(%) |
| 真机 DROID | DreamFree / DreamZero / π0.5 | 64 / 56 / 16 |
| RoboCasa-Kitchen,24 任务 | DreamFree-14B / Cosmos Policy / Fast-WAM | 71.7 / 67.1 / 44.4 |
| LIBERO 四套件均值 | DreamFree / LingBot-VA / π0.5 | 98.6 / 98.5 / 96.9 |
视频迁移:复合任务从 0% 提到 21.7%,同样的视频去掉蒸馏仍是 0%;用 Franka 双臂录的视频教 ALOHA 机器人做新任务,从 6.7% 到 30%;策略训完后冻结动作模块、只微调编码器,单张 H200 十分钟适配一个新任务。
视频生成派 WAM 的推理成本被正面拆掉,且第一阶段不吃动作标签,互联网视频、跨本体视频都能灌。实验证明更强的视频骨干和更多视频数据直接换成更高成功率,这条路对 scaling 友好;Fast-WAM 扩骨干几乎不动,说明蒸馏保真度是关键差异。11Hz 的闭环控制在真机上是实用档位。需要说明,LIBERO 上 98.6 对 98.5 是饱和赛道的持平,真正的差距在 RoboCasa 这种多任务少数据的场景和真机上。
作者自述的边界:不是所有任务都能靠视频学会,基策略开不了柜门,视频微调也学不会往柜子里放东西,视频学习受限于策略本身会不会所需的原子技能。
另几处要留意:真机只有 10 个任务、每任务 5 次,64% 对 56% 在这个样本量下置信度一般;future probing 在 DROID 上与教师看到真未来帧仍有差距,预测信息没有完全吃进表征;11Hz 是 H200 上的数字;双臂实验只有定性的执行示例,没有成功率;LIBERO 各基线都在 94% 以上,区分不出方法差异。