事后自蒸馏不进仿真器,LIBERO-90比SFT高6.3点

HINT-WAM: Hindsight-Informed Training for World Action Models

Phuong Tuan Dat, Qi Li, Xinchao Wang

cs.RO

2026-11-19

用示范未来视频当教师,沿学生自己的去噪轨迹蒸馏,LIBERO-90从SFT的78.9%升到85.2%,且不用仿真器。

这篇在解决什么

世界动作模型(world action model)把动作和未来画面放在同一次生成里。Fast-WAM 的动作专家输出连续动作块,靠积分速度场从噪声走到干净动作。公开检查点放到没见过的 LIBERO-90,90 个任务平均只有 15.56%。

监督微调补的是示范动作。flow matching 的训练点是专家动作加噪后的状态,采样器积分时路过的中间点没进过损失。部署时误差就沿着这条自产轨迹叠上去。同一观测还有多种合理后续,一个回归目标说不清示范者选了哪条。

在线强化学习更新在策略自己的行为上,但成功奖励通常很稀。奖励再密,回来的也只是标量。HINT-WAM 把动作分布打在学生采样器经过的点上,观测仍来自示范,不跑仿真,也不要环境奖励。

方法

底座是 Fast-WAM,10 步 Euler、32 步动作块都不改。视频专家与动作专家每层共享一次注意力,视频侧只看当前帧,积分只跑动作专家。动作看不到未来帧。观测是图像、语言和本体感觉。视频专家全程冻结。

学生看不见事后视频,教师在它眼里是多峰的。回归速度场会奔向条件均值,而这个均值可能哪一峰都不对。能量分数(energy score)让学生抽 M 条隐含动作(速度场一步换出的干净动作),拉向一个教师样本,同时彼此推开。梯度不穿过整段积分。实验取 K=1、M=4,权重按步长平方,集中在轨迹末尾。纯蒸馏会跟上教师的错误,所以再加一项不看事后信息的行为克隆,权重都是 1。部署只用学生。

结果

每项任务 50 次,初始状态固定。RoboTwin 2.0 是双臂,取训练前定好的 25 个难任务,干净与随机各 50 条,原检查点已在同分布数据上训过。8 张 A5000,批大小 192。A、B 从 SFT 第 3000 步续训,RoboTwin 不重调超参。

方法LIBERO-90RoboTwin 干净RoboTwin 随机
Fast-WAM15.56%86.48%83.44%
SFT78.88%未评未评
Full SFT81.24%84.12%83.24%
只加行为克隆71.56%85.36%82.08%
自模仿79.62%未评未评
打乱事后视频80.28%未评未评
HINT-WAM85.18%87.04%83.68%

比 SFT 高 6.30 个点(配对 t=3.58),比 full SFT 高 3.94。同样步数只做行为克隆掉到 71.56%。自模仿只比 SFT 高 0.74。打乱事后视频则是 80.28%,低 4.90(t=2.76)。RoboTwin 上继续克隆相对原检查点,干净低 1.12、随机低 1.36。HINT-WAM 相对该对照,干净高 1.68(t=2.00)、随机高 1.60,本身也略高于原检查点。

设置新任务旧任务平均长程旧任务
不回放,SFT78.88%37.45%4.6%
不回放,full SFT81.24%32.85%2.2%
不回放,HINT-WAM85.18%44.05%8.2%
回放,SFT76.70%91.55%81.2%
回放,HINT-WAM81.56%95.10%90.2%
原检查点15.56%96.55%94.0%

不回放时四套平均掉到 45% 以下,HINT-WAM 平均仍最高。回放之后旧任务回到 95.10%,离原检查点 96.55% 不到 1.5 个点,长程套件比 SFT 高 9.0 个点。回放后新任务 81.56%,比 SFT 的 76.70% 高 4.86(t=2.66)。

SFT 多训 22 小时,成功率不动。事后教师 4.4 小时,蒸馏 34 小时,流水线是 SFT 的 1.28 倍,是 full SFT 127 小时的 0.56 倍。

速度场回归 79.02%(相对 SFT 多 0.14,t=0.09),核 MMD 80.63%,动作均方误差 82.93%,能量分数 85.18%,高出速度匹配 6.16 个点,48 胜 17 负(符号检验 p=0.0004)。只克隆 71.6%,只蒸馏 74.4%,两者合用 85.2%。M 从 1 增到 4,由 81.4% 到 85.2%,还没饱和。监督打在加噪示范上是 80.7%,打在学生自己的去噪点上是 85.2%。

为什么重要

继续模仿能把新任务从 15.56% 抬到近 80%,再往上加步数会过拟合。强化学习要奖励和探索。HINT-WAM 的教师就是学生加上一条轻量事后分支,不必另训一个更大的教师。只动动作专家,127 小时的 full SFT 成功率还更低。

已经训过的任务上,它主要是少过拟合。RoboTwin 的增益就在 1 到 2 个点。这是渐进改进。

能量分数可以单独看。连续动作没有好算的似然,它比速度回归少做一次多峰平均。

局限与存疑

在线状态来自采样器,不是闭环交互。接触失败、观测分布偏移都碰不到。画面永远是示范里的当前帧。

不回放时遗忘仍然重。旧任务从 96.55% 到 44.05%,长程只剩 8.2%。比 SFT 少忘一点,谈不上保住了预训练技能。

RoboTwin 干净设定的配对 t 是 2.00,增益小,说明的是少过拟合。实验全在仿真,没有真实机器人。换相机或换执行器之后是否还在,没有测。

教师会错,才需要行为克隆锚。两项权重都取 1,换基准不再调。M=4 没饱和,K 只监督了权重最大的一个去噪点。自模仿加的是随机摆放下的成功回合,和「不采集新环境状态」不是同一笔数据预算,5.56 个点不能读成同等交互下的强弱。

术语

原文与代码

相关论文

全部论文解读