La-JEPA: Compact Robot Policies with Latent World Modeling
Mateo Clémente, George Z. Xue, Amin Abyaneh, Liheng Ma, Rui Heng Yang, Tongtong Cao, Zhanguang Zhang, Yingxue Zhang
cs.RO, cs.CV, cs.LG
2026-11-05
在冻结 V-JEPA 特征空间从零训练紧凑机器人策略,LIBERO-Plus 与 RoboTwin 全面领先 12.4B 生成式基线,推理延迟快至 5 倍。
机器人操作策略的主流做法是「继承」:world-action model(下称 WAM)在预训练视频生成器上微调,vision-language-action(VLA)模型在预训练 VLM 上接动作头。两条路都把策略的架构、token 化方式和参数量绑死在一个为生成设计的 transformer 上,部署动辄几 B 到十几 B。视频 VAE latents 还把大量容量花在像素级保真上,而控制并不需要这件事。这篇问了个直接的问题:丢掉生成式骨干,一个从零训练的紧凑 transformer 能打到什么水平?
La-JEPA 的策略 transformer 完全随机初始化,视觉全部走冻结的 V-JEPA 2.1 ViT-L 编码器。模型没有 RGB 通路,预测目标也在特征空间,全程不做像素重建。
S/B/L 三个尺寸对应 0.10/0.34/1.14B 可训练参数,部署参数(含冻结编码器)0.74/0.98/1.78B,而基线在目标任务上更新的参数是 2.0 到 7.8B。
| 方法 | 部署参数 | LIBERO-Plus(修正指令) | RoboTwin clean/randomized | 延迟(10步) |
| La-JEPA B | 0.98B | 87.3% | 86.2 / 35.4 | 25.2ms |
| La-JEPA L | 1.78B | 88.0% | 86.0 / 32.1 | 59.7ms |
| NowWAM | 7.1B | 86.2% | — | — |
| Fast-WAM | 12.4B | 70.8% | 77.8 / 1.9 | 88.1ms |
无 embodied pretraining 的策略里,三个尺寸在 RoboTwin 两种场景全面领先,randomized 场景差距最大;LIBERO-Plus 修正指令后 L 领先 NowWAM 1.8 个点,部署参数只有对方四分之一。真机四个 Franka 任务上,从零训练的 B 平均成功 17.50/20,略高于有 embodied pretraining 的 π0.5(17.25),接触密集的 Push T 是全场最高,S 尺寸推理比 Fast-WAM 快约 5 倍。
设计研究有两个数字值得记住:把 V-JEPA 特征换成 Wan2.2 视频 VAE latents(Fast-WAM 一系的底座),RoboTwin 两种场景各掉约 16 个点,VAE 策略在 randomized 场景崩到 1.0%;去掉训练时的未来预测,RoboTwin 掉 7.0 个点、LIBERO-Plus 三个种子平均掉 2.1 点(McNemar p<0.01)。未来预测只在训练用,推理不生成,但没它性能确实掉。
这篇给「机器人基础模型必须继承生成架构」的默认假设提供了反向证据:为控制设计的 1B 级模型能同时赢效果和速度。对从业者最直接的是成本,0.34B 可训练参数、25ms 级延迟,消费级单卡就能闭环,训练也只在目标任务演示上做。顺带一个基准卫生发现:LIBERO-Plus 官方评测器会把扰动参数拼进指令,8493/10030 个变体受影响,视频生成系 WAM 受创最重(Fast-WAM 修正后涨 19.3 点),此前基于该 benchmark 的排名需要重新审视。
作者自述:没做系统超参搜索,RoboTwin 上 S/B/L 成绩非单调(59.7/60.8/59.0)未解释;只用了目标演示数据,加 embodied pretraining 后能否放大是开放问题;randomized RoboTwin 仍低于最强的 embodied-pretrained 方法;真机只有一台 Franka、四个任务。
读下来还要保留几点:多数设计消融只跑了一次训练(LIBERO-Plus 那组是三个种子);特征空间对比把表征和它接入策略的方式绑在一起,不是干净的表征对照,且 clean 场景有一次对比是 Wan2.2 反超;JEPA-WAM 在 RoboTwin 只报 20 个任务,全 50 任务数字靠线性回归外推;所有基线重测都在论文自己的 harness 里完成,对手没有机会按自己的设置调优。