WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation
Junlin Long, Xu Deng, Yiran Wang, Yue Yang, Yang Zhao, Zeyu Zhang
cs.RO, cs.CV
2026-11-18
把机械臂预训练的世界动作模型迁移到无臂四足:蒸馏后采样快14倍,任务级强化学习再合并,成功率从77%升到85%,并部署真机Go2。
无臂四足机器人也能干活:三条腿走路,前左腿抬起来当手用,推箱子、开门、踢球都行。省掉机械臂的重量和复杂度,代价是控制难度陡增。这个方向此前只有点云规划器,一个任务训一个模型,听不懂语言指令;带语言标注的示教数据在这个设定下根本不存在。
另一边,world action model(WAM,联合预测未来画面和动作的生成式策略)已经是语言条件操作的主流路线之一,但现成模型全部为机械臂预训练,而且多步采样慢。底座模型 LingBot-VA 生成一个覆盖 0.32 秒机器人时间的动作块要 2.226 秒,慢于实时约七倍。采样期间机器人还在动,按旧状态算出的动作对新状态已经不合适。
这篇要做的事就是接通两条断路:让机械臂 WAM 变成无臂四足的语言条件策略,还要跑赢实时。
两个阶段,每个阶段收在同一个动作上:把高步数教师蒸馏成 1/2-NFE 学生,视频流采 1 步、动作流采 2 步。
阶段一是跨形态迁移与加速,只动两个接口。视觉侧,机械臂的头/腕相机换成狗背两台相机(头部前视加高位俯视),两台都随身体运动,模型得顺带预测自身运动对画面的影响;动作侧,30 维双臂命令换成 9 维四足命令(底盘平面速度、偏航角速度、前左脚目标位置与接触力),交给冻结的全身控制器 RAMBO 换算成关节力矩。VAE、文本编码器和由 Wan2.2-5B 视频生成器初始化的 transformer 主体全部保留,在四足示教上微调。
然后是 OPSD(on-policy self-distillation):教师就是迁移后的高 NFE 策略,冻结;学生只训一个 rank-256 的 LoRA 增量(冻结原权重,只训一个低秩补丁),采样步数直接砍到 1/2。师生看同一个上下文、抽同一份噪声,教师靠 25/50 步采样领先,学生对教师的输出做同噪声回归。训练上下文一半来自教师闭环缓存,一半来自学生边训边跑的闭环 rollout,后者对付环境级 exposure bias:学生自己的误差会把它带进示教没覆盖的状态。
阶段二解决「学生被教师上限卡住、教师只会模仿」的问题。对失败率最高的推箱子(47%)和开门(53%),用 DiffusionNFT 各训一个 LoRA 专家:从教师自己的闭环状态出发,一组候选窗口各持一份固定噪声跑完窗口,按任务物体的轨迹给整个窗口打一个奖励,高于组均值的候选拉近、低于的推远。最后 M-OPD(多教师在策略蒸馏)按指令所属任务路由到对应专家,把两个约 2.7 秒一块的慢专家和原教师蒸馏成一个 1/2-NFE 学生,权重从阶段一学生继续训。
数据也是自建的:QLM-Bench 的 1,000 条示教(每任务 100 条)由多模态大模型起草参考轨迹,人工审核后重定向到随机化场景执行,成功的留下,全程无遥操。
QLM-Bench 十任务、Standard100 协议(100 个场景 × 3 个策略种子,共 300 回合):
| 方法 | NFE(视频/动作) | 单块采样 | 十任务成功率 |
| Leg-Manip(点云基线,复现) | – | – | 61.7% |
| 迁移教师 | 25/50 | 2.226 s | 77.0% |
| 砍到 1/2,不蒸馏 | 1/2 | 0.156 s | 69.3% |
| OPSD 学生 | 1/2 | 0.159 s | 76.7% |
| M-OPD 学生(最终) | 1/2 | 0.159 s | 85.0% |
几个关键数字:
对做具身智能的从业者,路线价值大于单项数字:视频生成预训练的 WAM 换掉输入输出投影就能跨形态复用,主体权重和语言对齐全部保留。操作文献里的 cross-embodiment 通常指换个夹爪,这里换掉的是整条承重腿,跨度大得多。
OPSD 可能是最可搬走的单点贡献:教师不需要特权信息、不依赖形态,同上下文多步采样就能领先;distribution matching 的对照说明少步蒸馏里目标函数的选择不是小事。QLM-Bench 的全合成示教也把造数据成本压到 LLM 起草加人工审核,没有遥操环节。
说清成色:这是一篇组合工程,迁移、蒸馏、RL 微调、多教师合并每个组件都有先前工作,新意在组合方式和无臂四足这个设定本身。
作者列了四条:Stage 2 只调两个任务,奖励逐任务手写,难扩展;全部结论建立在一台四足、一个全身控制器、一条操作腿上,没测其他机器人、没测未见任务与指令;真机闭环单块 0.66 秒(编码占大头),是 0.32 秒块长的两倍,还不实时;sim-to-real 缺口大,仿真 76.7%,真机 7/30。
细读还有几处要留意。开门专家用的是第 4 轮 checkpoint,在 32 个训练 held-out 回合上挑的;训练日志显示奖励一直涨、成功率却从 19/32 掉到 6/32,奖励只是成功的代理。专家会伤及邻任务:推箱专家拉抽屉从 29/30 掉到 21/30。真机只测了阶段一学生,没测更强的 M-OPD 学生。基线 Leg-Manip 是作者复现,开门任务因无示教记 0,九个有示教任务的均值 68.6%,这个对照说服力一般。