HINT-WAM: Hindsight-Informed Training for World Action Models
Phuong Tuan Dat, Qi Li, Xinchao Wang
cs.RO
2026-11-19
用示范未来视频当教师,沿学生自己的去噪轨迹蒸馏,LIBERO-90从SFT的78.9%升到85.2%,且不用仿真器。
世界动作模型(world action model)把动作和未来画面放在同一次生成里。Fast-WAM 的动作专家输出连续动作块,靠积分速度场从噪声走到干净动作。公开检查点放到没见过的 LIBERO-90,90 个任务平均只有 15.56%。
监督微调补的是示范动作。flow matching 的训练点是专家动作加噪后的状态,采样器积分时路过的中间点没进过损失。部署时误差就沿着这条自产轨迹叠上去。同一观测还有多种合理后续,一个回归目标说不清示范者选了哪条。
在线强化学习更新在策略自己的行为上,但成功奖励通常很稀。奖励再密,回来的也只是标量。HINT-WAM 把动作分布打在学生采样器经过的点上,观测仍来自示范,不跑仿真,也不要环境奖励。
底座是 Fast-WAM,10 步 Euler、32 步动作块都不改。视频专家与动作专家每层共享一次注意力,视频侧只看当前帧,积分只跑动作专家。动作看不到未来帧。观测是图像、语言和本体感觉。视频专家全程冻结。
学生看不见事后视频,教师在它眼里是多峰的。回归速度场会奔向条件均值,而这个均值可能哪一峰都不对。能量分数(energy score)让学生抽 M 条隐含动作(速度场一步换出的干净动作),拉向一个教师样本,同时彼此推开。梯度不穿过整段积分。实验取 K=1、M=4,权重按步长平方,集中在轨迹末尾。纯蒸馏会跟上教师的错误,所以再加一项不看事后信息的行为克隆,权重都是 1。部署只用学生。
每项任务 50 次,初始状态固定。RoboTwin 2.0 是双臂,取训练前定好的 25 个难任务,干净与随机各 50 条,原检查点已在同分布数据上训过。8 张 A5000,批大小 192。A、B 从 SFT 第 3000 步续训,RoboTwin 不重调超参。
| 方法 | LIBERO-90 | RoboTwin 干净 | RoboTwin 随机 |
| Fast-WAM | 15.56% | 86.48% | 83.44% |
| SFT | 78.88% | 未评 | 未评 |
| Full SFT | 81.24% | 84.12% | 83.24% |
| 只加行为克隆 | 71.56% | 85.36% | 82.08% |
| 自模仿 | 79.62% | 未评 | 未评 |
| 打乱事后视频 | 80.28% | 未评 | 未评 |
| HINT-WAM | 85.18% | 87.04% | 83.68% |
比 SFT 高 6.30 个点(配对 t=3.58),比 full SFT 高 3.94。同样步数只做行为克隆掉到 71.56%。自模仿只比 SFT 高 0.74。打乱事后视频则是 80.28%,低 4.90(t=2.76)。RoboTwin 上继续克隆相对原检查点,干净低 1.12、随机低 1.36。HINT-WAM 相对该对照,干净高 1.68(t=2.00)、随机高 1.60,本身也略高于原检查点。
| 设置 | 新任务 | 旧任务平均 | 长程旧任务 |
| 不回放,SFT | 78.88% | 37.45% | 4.6% |
| 不回放,full SFT | 81.24% | 32.85% | 2.2% |
| 不回放,HINT-WAM | 85.18% | 44.05% | 8.2% |
| 回放,SFT | 76.70% | 91.55% | 81.2% |
| 回放,HINT-WAM | 81.56% | 95.10% | 90.2% |
| 原检查点 | 15.56% | 96.55% | 94.0% |
不回放时四套平均掉到 45% 以下,HINT-WAM 平均仍最高。回放之后旧任务回到 95.10%,离原检查点 96.55% 不到 1.5 个点,长程套件比 SFT 高 9.0 个点。回放后新任务 81.56%,比 SFT 的 76.70% 高 4.86(t=2.66)。
SFT 多训 22 小时,成功率不动。事后教师 4.4 小时,蒸馏 34 小时,流水线是 SFT 的 1.28 倍,是 full SFT 127 小时的 0.56 倍。
速度场回归 79.02%(相对 SFT 多 0.14,t=0.09),核 MMD 80.63%,动作均方误差 82.93%,能量分数 85.18%,高出速度匹配 6.16 个点,48 胜 17 负(符号检验 p=0.0004)。只克隆 71.6%,只蒸馏 74.4%,两者合用 85.2%。M 从 1 增到 4,由 81.4% 到 85.2%,还没饱和。监督打在加噪示范上是 80.7%,打在学生自己的去噪点上是 85.2%。
继续模仿能把新任务从 15.56% 抬到近 80%,再往上加步数会过拟合。强化学习要奖励和探索。HINT-WAM 的教师就是学生加上一条轻量事后分支,不必另训一个更大的教师。只动动作专家,127 小时的 full SFT 成功率还更低。
已经训过的任务上,它主要是少过拟合。RoboTwin 的增益就在 1 到 2 个点。这是渐进改进。
能量分数可以单独看。连续动作没有好算的似然,它比速度回归少做一次多峰平均。
在线状态来自采样器,不是闭环交互。接触失败、观测分布偏移都碰不到。画面永远是示范里的当前帧。
不回放时遗忘仍然重。旧任务从 96.55% 到 44.05%,长程只剩 8.2%。比 SFT 少忘一点,谈不上保住了预训练技能。
RoboTwin 干净设定的配对 t 是 2.00,增益小,说明的是少过拟合。实验全在仿真,没有真实机器人。换相机或换执行器之后是否还在,没有测。
教师会错,才需要行为克隆锚。两项权重都取 1,换基准不再调。M=4 没饱和,K 只监督了权重最大的一个去噪点。自模仿加的是随机摆放下的成功回合,和「不采集新环境状态」不是同一笔数据预算,5.56 个点不能读成同等交互下的强弱。