D-JEPA: A Decision-Aligned Latent World Model
Shuaijun Liu, Chengyu Wu, Qifu Wen, Feiyang You, Chenglong Zhang, Shuyang Hao, Xi Lin, Ningxin Su
cs.RO, cs.LG
2026-09-21
D-JEPA用执行结果校正候选潜空间排序，PushT达87.89%，RoboTwin平均+15.04点，真机+17点。
潜空间世界模型不重建像素，只在表示空间里预测动作会把世界带到哪。JEPA 一系（LeWM、TD-JEPA、DINO-WM、V-JEPA 2）都走这条路：规划器拿预测未来和目标表示比距离，最近的那条就被执行。
全候选集上预测可以很准，真正在抢执行权的那几条却经常排反。PushT 上 96 个起点的审计里，LeWM 的预测代价与真实执行后的潜空间代价，Spearman 相关从全集 0.90 掉到 top-4 的 0.11；TD-JEPA 从 0.80 掉到 0.13。混有成败的 top-4 短名单里，失败候选被排到成功候选前面的比例，LeWM 是 49.0%，TD-JEPA 是 38.2%。两个模型各自有 8/96 个起点，池子里有成功候选，却选了失败的那条。一组记下的例子：失败候选到目标的 RMS 距离 0.2027，成功的那条是 0.2167。
这是决策局部的预测缺口。全局拟合误差小，不等于会挑对下一步。
D-JEPA 不重训整个世界模型。它把同一上下文、同一目标下的全部候选未来当成一个集合，用已经执行过的成败来监督它们之间的相对关系。
对每个候选取两类证据。目标相对描述把末端潜向量减目标再做 LayerNorm，保住该模型自己的方向。序数坐标把该模型原生规划代价在集合内排成 0 到 1 的秩。双模型实例把 LeWM 和 TD-JEPA 的描述与秩拼在一起。两层四头、无位置编码的 Set Transformer 处理全集，PushT 上通常 63 条。输出走零初始化的低秩校正头，校正被 tanh 卡在正负 0.2。基础分加校正才是对齐分。基础分领先超过 0.4 的赢家改不动，只能在决策边界附近翻盘。
训练三项一起走：全集成功质量；当前低分子集上的成败排序；校正幅度的平方惩罚。部署时用校准过的门控，关系赢家优势不够就退回基础融合。
预测可塑性只微调 TD-JEPA 最后一个 predictor block 和投影，改出来的原生距离赢家当提案，校准合成只在优势过阈值时采纳。序数接口再把 JEPA-WM、DINO-WM 的秩接进来，不同几何互不直接比原始距离。
学到的顺序可以写回 JEPA 兼容的未来表示。PushT 上按最终严格秩把末端放到目标周围半径 π/(K+1) 处，原生潜空间距离就恢复对齐后的选择。Reacher 上用绝对值不超过 0.1 的系数，沿两条模型未来的差做时间维搬运。
同一候选池、同一起点对照如下。
| 设置 | D-JEPA | 主要对照 |
| PushT 成功率 (n=256) | 87.89% | LeWM 83.59%，TD-JEPA 76.95%，四几何融合 85.94% |
| Reacher (n=128) | 93.75% | LeWM 86.72%，TD-JEPA 68.75% |
| RoboTwin 四任务均值 (n=512) | 76.76% | 原生 VLA 61.72%，Oracle 83.40% |
| PiPER 真机两任务均值 | 81.0% | 同一 V-JEPA 2-AC 规划器 64.0% |
| 驾驶七场景 PDMS（轨迹综合分，0-100） | 95.34 | Drive-JEPA 57.36 |
配对差异：PushT 相对 TD-JEPA 高 10.94 点，37 赢 9 输；真机 PushT 50 次配对 12 赢 3 输，码垛 10 赢 2 输。拿掉 preservation gate，RoboTwin 总成功率掉到 71.48%。
消融里关系对齐是主因。TD-JEPA 76.95%，只加可塑性 79.69%，关系对齐 87.11%，再加校准合成 87.89%。128 起点机制集上，双源描述 93.75%，单用 LeWM 或 TD-JEPA 只有 84.38% 和 83.59%。候选从 8 条增到 63 条，关系选择从 81.96% 升到 87.11%。
精确序数实现把成功率保持在 87.11%，端到端中位推理 34.02 ms，校准合成是 52.16 ms。原生目标距离 100% 恢复对齐后的动作和秩。这是构造保证：半径按秩写进去，距离自然复现顺序。
未见形状（I、小 T、方）均值 53.67%，高于融合 44.67% 和原生 28.33%。七种外观里对象变色增益最大，50 个新起点从融合 30% 到 54%。颗粒整形上 D-JEPA 的 Chamfer 均值 0.358，没有打过 DINO-WM 的 0.341，严格阈值成功率却从 7.81% 升到 18.75%。平均距离和能不能跨过阈值，不是一回事。
JEPA 路线一直在把预测做准。这篇把问题切到规划器真正会执行的那几条未来：全量相关可以接近 0.9，top-4 可以掉到 0.11。对已经有候选生成器的人，这是一个决策层插件。VLA 动作块、Drive-JEPA 轨迹、V-JEPA 2-AC 搜索结果都可以拿来重排，底层预测器和低层控制器不用换。
有界校正和写回原生距离，是为了能塞进现有 latent-distance 规划接口，不必另起一套打分器。代价是训练要有候选的反事实执行标签，不是纯离线表示学习。
相对四几何融合，PushT 只多 1.95 点。真机高 17 点和 RoboTwin 高 15.04 点更有说服力，规划器和搜索预算都锁死。
正文没有独立局限节。训练依赖整集候选的反事实 rollout。确认集还按成败结构加预训练分差够小筛过，256 条 PushT 不是随机起点。驾驶是三个日志里挑出的七个困难场景，Oracle 全是 100，Drive-JEPA 均值只有 57.36，增益很大，外推到完整驾驶基准还没有验证。外观实验的拟合和测试落在同一组已知变换家族，测的是新起点，不是新畸变类型。
有界校正只能提拔基础分 0.4 以内的候选，基础排序错得很远时翻不过来。RoboTwin 的 Oracle 还有 83.40%，D-JEPA 停在 76.76%。真机每任务 50 次配对，样本量小。颗粒任务上连续 Chamfer 没有打赢 DINO-WM。Cube 接近饱和成功，论文只当覆盖，不报增益。
精确序数实现的原生距离 100% 恢复，是把秩写进半径。验证的是实现正确，不是又学到了新几何。