机械臂世界模型改成四足腿操作策略,推理快14倍还更强

WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation

Junlin Long, Xu Deng, Yiran Wang, Yue Yang, Yang Zhao, Zeyu Zhang

cs.RO, cs.CV

2026-11-18

把机械臂预训练的世界动作模型迁移到无臂四足:蒸馏后采样快14倍,任务级强化学习再合并,成功率从77%升到85%,并部署真机Go2。

这篇在解决什么

无臂四足机器人也能干活:三条腿走路,前左腿抬起来当手用,推箱子、开门、踢球都行。省掉机械臂的重量和复杂度,代价是控制难度陡增。这个方向此前只有点云规划器,一个任务训一个模型,听不懂语言指令;带语言标注的示教数据在这个设定下根本不存在。

另一边,world action model(WAM,联合预测未来画面和动作的生成式策略)已经是语言条件操作的主流路线之一,但现成模型全部为机械臂预训练,而且多步采样慢。底座模型 LingBot-VA 生成一个覆盖 0.32 秒机器人时间的动作块要 2.226 秒,慢于实时约七倍。采样期间机器人还在动,按旧状态算出的动作对新状态已经不合适。

这篇要做的事就是接通两条断路:让机械臂 WAM 变成无臂四足的语言条件策略,还要跑赢实时。

方法

两个阶段,每个阶段收在同一个动作上:把高步数教师蒸馏成 1/2-NFE 学生,视频流采 1 步、动作流采 2 步。

阶段一是跨形态迁移与加速,只动两个接口。视觉侧,机械臂的头/腕相机换成狗背两台相机(头部前视加高位俯视),两台都随身体运动,模型得顺带预测自身运动对画面的影响;动作侧,30 维双臂命令换成 9 维四足命令(底盘平面速度、偏航角速度、前左脚目标位置与接触力),交给冻结的全身控制器 RAMBO 换算成关节力矩。VAE、文本编码器和由 Wan2.2-5B 视频生成器初始化的 transformer 主体全部保留,在四足示教上微调。

然后是 OPSD(on-policy self-distillation):教师就是迁移后的高 NFE 策略,冻结;学生只训一个 rank-256 的 LoRA 增量(冻结原权重,只训一个低秩补丁),采样步数直接砍到 1/2。师生看同一个上下文、抽同一份噪声,教师靠 25/50 步采样领先,学生对教师的输出做同噪声回归。训练上下文一半来自教师闭环缓存,一半来自学生边训边跑的闭环 rollout,后者对付环境级 exposure bias:学生自己的误差会把它带进示教没覆盖的状态。

阶段二解决「学生被教师上限卡住、教师只会模仿」的问题。对失败率最高的推箱子(47%)和开门(53%),用 DiffusionNFT 各训一个 LoRA 专家:从教师自己的闭环状态出发,一组候选窗口各持一份固定噪声跑完窗口,按任务物体的轨迹给整个窗口打一个奖励,高于组均值的候选拉近、低于的推远。最后 M-OPD(多教师在策略蒸馏)按指令所属任务路由到对应专家,把两个约 2.7 秒一块的慢专家和原教师蒸馏成一个 1/2-NFE 学生,权重从阶段一学生继续训。

数据也是自建的:QLM-Bench 的 1,000 条示教(每任务 100 条)由多模态大模型起草参考轨迹,人工审核后重定向到随机化场景执行,成功的留下,全程无遥操。

结果

QLM-Bench 十任务、Standard100 协议(100 个场景 × 3 个策略种子,共 300 回合):

方法NFE(视频/动作)单块采样十任务成功率
Leg-Manip(点云基线,复现)––61.7%
迁移教师25/502.226 s77.0%
砍到 1/2,不蒸馏1/20.156 s69.3%
OPSD 学生1/20.159 s76.7%
M-OPD 学生(最终)1/20.159 s85.0%

几个关键数字:

为什么重要

对做具身智能的从业者,路线价值大于单项数字:视频生成预训练的 WAM 换掉输入输出投影就能跨形态复用,主体权重和语言对齐全部保留。操作文献里的 cross-embodiment 通常指换个夹爪,这里换掉的是整条承重腿,跨度大得多。

OPSD 可能是最可搬走的单点贡献:教师不需要特权信息、不依赖形态,同上下文多步采样就能领先;distribution matching 的对照说明少步蒸馏里目标函数的选择不是小事。QLM-Bench 的全合成示教也把造数据成本压到 LLM 起草加人工审核,没有遥操环节。

说清成色:这是一篇组合工程,迁移、蒸馏、RL 微调、多教师合并每个组件都有先前工作,新意在组合方式和无臂四足这个设定本身。

局限与存疑

作者列了四条:Stage 2 只调两个任务,奖励逐任务手写,难扩展;全部结论建立在一台四足、一个全身控制器、一条操作腿上,没测其他机器人、没测未见任务与指令;真机闭环单块 0.66 秒(编码占大头),是 0.32 秒块长的两倍,还不实时;sim-to-real 缺口大,仿真 76.7%,真机 7/30。

细读还有几处要留意。开门专家用的是第 4 轮 checkpoint,在 32 个训练 held-out 回合上挑的;训练日志显示奖励一直涨、成功率却从 19/32 掉到 6/32,奖励只是成功的代理。专家会伤及邻任务:推箱专家拉抽屉从 29/30 掉到 21/30。真机只测了阶段一学生,没测更强的 M-OPD 学生。基线 Leg-Manip 是作者复现,开门任务因无示教记 0,九个有示教任务的均值 68.6%,这个对照说服力一般。

术语

原文与代码

相关论文

全部论文解读