Fast-JEPA: Advancing the Success-Latency Frontier for Latent World Models
Yao Zhang, Bin Yu, Shijie Lian, Haishan Liu, Changti Wu, Yu Wu, Kai Chen
cs.RO, cs.AI
2026-11-19
Fast-JEPA 把候选评估改成只预测序列终点,四个控制任务平均 96.5% 成功、10.88 毫秒规划,比 INTACT 快 2.41 倍。
潜在世界模型(latent world model)在表征空间里预测动作序列的后果,让控制器不试错就能比较方案。麻烦在测试时:主流做法靠递归 rollout 评估候选,每一步预测吃掉上一步的输出当输入,一条 H 步的序列要调 H 次世界模型,再乘上候选数和搜索轮数,在线计算量失控。之前的方法要么接受几百毫秒的延迟,要么砍掉搜索退回单步提案,成功率和速度总得丢一个。
对机器人控制这是个真问题。环境在动,规划花掉的每一毫秒都在让执行时刻的世界偏离规划时刻的世界。Fast-JEPA 的目标是把成功率和延迟的 Pareto 前沿往左上推:保住候选搜索的好处,把每条候选的评估成本从一条预测链压成一次查询。
核心是一个信息不对称的观察。构造动作时,后面的动作还没定,中间预测给后续动作选择提供上下文;候选一旦完整,所有动作已知,在「终点贴近目标图」的目标下,比较只需要终点,中间状态对打分没有增量价值。Fast-JEPA 按这个原则分配预测计算,分三步:
训练侧,同一个前向世界模型在多个 horizon 上、从同一观测锚点监督;动作模型用两个条件目标(下一个潜在状态、片段终点)联合训练。总训练成本 5.95 GPU 时,和 INTACT 的 6.67 相当,低延迟不靠加训练换。
复杂度上,rollout 版 CEM 是 O(NIHW),Fast-JEPA 压到 O((H+NI)W),每条候选从 H 次预测变成 1 次。
四个任务(PushT、Reacher、Cube、TwoRoom),每任务 100 episode、三个独立训练模型取平均,RTX PRO 6000 上测 warmed batch-one 延迟:
| 方法 | 平均成功率 | 规划延迟 |
| Fast-JEPA | 96.50% | 10.88 ms |
| INTACT | 95.58% | 26.19 ms |
| INTACT Guarded A | 96.33% | 127.09 ms |
| Fast-LeWM + SC | 84.58% | 586.15 ms |
比 INTACT 快 2.41 倍,成功率还高约 0.9 个点。消融把机制拆得很干净:去掉提案构造,成功率从 96.33% 掉到 68.17%,搜索必须围着好起点转;去掉精炼只留提案,93.83% @ 5.53 ms,精炼买回约 2.5 个点。最直接的证据在打分方式对比:递归打分 96.08% @ 20.54 ms,终点直评 96.33% @ 10.78 ms,打分环节从 11.16 ms 降到 2.32 ms,递归 rollout 在终点目标下确实没带来额外信息。32 组搜索预算扫描下,Fast-JEPA 延迟稳定落在 9.716.8 ms,INTACT Guarded A 是 71.8197.2 ms。
新 benchmark DynaGoal(全部复用原任务模型,零微调):动态目标和几何变化的 Shift 协议平均 73.83%,INTACT 56.25%,其中移动门的 TwoRoom 是 85.33% 对 45.33%;规划时间计入任务预算的 Deadline 协议 87.67% 对 75.33%。
对做具身控制的人,最有用的可能不是框架本身,是那条可以搬走的结论:终点式目标下,候选评估不需要递归 rollout。任何在用 CEM/MPC 式搜索加世界模型的工作都可以查一遍自己的预测预算花在哪了。10.88 ms 配上完整候选搜索,在本地评测的全部配置里处在前沿最左上的位置。
DynaGoal 是个实在的贡献。Shift、Deadline、Delay 三个协议把「规划快」和「规划对」绑在一起考,Deadline 把规划时间直接算进任务预算,逼方法在时间约束下暴露真水平。
也要诚实:静态主任务上的提升是渐进的,96.50% 对 95.58%,绝对量小。真正的飞跃在延迟和动态条件下的成功率。
论文自己承认的:保留提案只保证预测代价不变差,不保证真实执行成功率提升;Reacher 和 Cube 在响应延迟增大时成功率骤降;PushT 上 90.00% 仍低于 Fast-LeWM+SC 的 92.00%。
读下来还有几点要留意。本地复现和各方法原文数字差距不小,Fast-LeWM 原文报 85 ms、本地复现 389.99 ms,这类方法对实现细节高度敏感,跨论文的延迟数字别直接比。四个任务都是像素观测的仿真控制,维度不高,没有真机和高维动作空间的验证;复杂度分析假设动作生成器和世界模型单次调用同价。Delay 协议里 Reacher 和 Cube 随延迟骤降,说明提案加精炼这套结构对「环境在观测和执行之间变化」的鲁棒性是任务相关的,不是通用保证。