AD-E2E-JEPA: A Joint-Embedding Predictive Architecture For End-to-End Autonomous Driving
Haoran Zhu, Wancong Zhang, Yann LeCun, Anna Choromanska
cs.RO, cs.AI, cs.CV, cs.LG
2026-09-28
纽约大学与AMI Labs提出AD-E2E-JEPA，用SIGReg投影把规划补丁压16倍、推理快约100倍；不训驾驶策略，8192条候选终点误差2.8米，NAVSIMv2零样本EPDMS达72.9，下游模仿学习从80.2升到85.4。
端到端自动驾驶现在主流还是模仿学习：看几帧相机画面，直接回归人类轨迹。策略是反应式的，环境动力学没有显式模型。人类示范本身也吵，也不一定最优。
JEPA（Joint-Embedding Predictive Architecture，在表征空间里预测未来、不重建像素）给出另一条路：学一个动作条件的世界模型，对候选轨迹做 rollout，看谁更接近目标。现成的 JEPA 世界模型卡在效率与精度中间。LeWM 走全局 CLS token，A100 上每场景约 0.7 秒，但 NAVSIM 抽 100 景的 EPDMS（含安全门控的规划分）只有 48.3，终点位移 12.4 米。DINO-WM 和 JEPA-WM 用编码器吐出的稠密 patch，EPDMS 到 68.3 和 74.2，终点约 4 米，单场景规划却要 91.8 和 101.0 秒，全测试集 12146 景算下来要十天以上。准的跑不动，快的开不准。
AD-E2E-JEPA 来自 NYU 与 AMI Labs。做法是给冻结的 DINOv3 ViT-L 接一个可学习投影层，再在压缩后的表征上做动作条件预测。
输入只前视相机。历史 4 帧（2 秒，2 Hz），未来 8 帧（4 秒）。动作定义为相邻帧的相对位姿变化（Δx、Δy、Δθ）。人开过的轨迹只当作世界模型的动作条件，不当驾驶策略的监督信号。
投影层是两层 stride 2×2 卷积，独立作用在历史帧和未来帧的 encoder 特征上：规划用的 patch 数量减 16 倍，维数从 1024 降到 256。预测器是带 RoPE 的 AdaLN 结构，在投影空间做一步预测，损失是 MSE。目标分支加 stop-gradient，再加 SIGReg：把每个 patch 位置、每个时刻的表征往各向同性高斯上推，避免投影把不同 DINOv3 向量压成常数。可选的 rollout 训练会在 8 帧未来上做自回归一致性，并用截断 BPTT 挡住更早步的梯度。
规划不用 CEM（cross-entropy method，迭代采样动作序列）那套搜索，太贵。候选来自 VADv2 聚好的 8192 条驾驶词表，默认按角度均匀抽 256 条。目标是 F 帧后的未来图像，评测里用真值。对每条候选自回归 rollout 到终点，选预测表征离目标表征最近的那条。全程不训练驾驶策略。
下游模仿学习丢掉预测器，留下 DINOv3 和这个投影，接一个简单的交叉注意力轨迹头，用 MSE 回归未来轨迹。对照是同一套结构、投影随机初始化。
默认 256 条候选、A100 单卡、目标为真值未来帧。EPDMS† 不含安全门。
100 景子集是为了跟跑不动全量的 DINO-WM、JEPA-WM 对齐：
| 方法 | EPDMS | EPDMS† | 规划时间 | FDE | Top-1/5 hit |
| LeWM | 48.3 | 73.9 | 0.7 s | 12.4 m | 6/18 |
| DINO-WM | 68.3 | 91.4 | 91.8 s | 3.9 m | 40/73 |
| JEPA-WM | 74.2 | 90.9 | 101.0 s | 4.0 m | 45/75 |
| AD-E2E-JEPA | 76.6 | 92.4 | 0.8 s | 4.2 m | 27/59 |
| +rollout（trainval） | 72.3 | 91.9 | 0.8 s | 3.2 m | 47/78 |
navtrain 上单步版 EPDMS 最高，到 76.6，但把真值轨迹排进最低代价 top-k 的比例，明显低于稠密 patch 的两个基线。加上 rollout 并扩到 trainval（约 70 小时视频，navtrain 只有 10 小时）后，测地误差和该比例才追上。
全量 12146 景、trainval 加 rollout：
| 候选数 | EPDMS | EPDMS† | FDE | Δθ | 时间 |
| 256 | 67.3 | 84.1 | 4.0 m | 3.5° | 0.8 s |
| 8192 | 72.9 | 86.5 | 2.8 m | 2.0° | 18.2 s |
navtrain 上的 AD-E2E-JEPA 相对 LeWM 的 39.8，全量平均高 23.7 EPDMS。目标平均大约 20 米远，256 和 8192 条候选的终点位移分别是 4.0 米和 2.8 米。候选变多，hit rate 反而下降：256 条时 Top-1/5 为 53.8% / 82.7%，8192 条掉到 15.3% / 33.8%。词表变密以后，「命中真值那条」更难。
模仿学习设定是单目前视、无感知标注：随机投影 80.2 EPDMS，预训练投影 85.4。表里的 WA-JEPA 报过 91.7，但是多相机、64 加 32 张 A800 的两阶段训练，论文把它标成参考方法，不是直接基线。
可迁移的工程点很具体：JEPA 规划的算力主要耗在稠密 patch 上，两层 stride-2 卷积加 SIGReg 就能把约 100 秒压到 0.8 秒，规划质量大体还在。
世界模型预训练出来的投影，接到普通模仿学习头上还能涨 5.2 EPDMS。不想上闭环规划的团队，至少可以把这个投影当表征压缩器来用。
「不训策略也能开」目前只在一个很强的评测协议里成立：目标是未来真值图像。车上没有这张图。它证明的是世界模型能不能把动作和未来表征对齐，还不是一套可上车的规划器。
相对 WA-JEPA 那种堆卡打到 91.7 的模仿学习系统，这是一条更轻的互补路线。
论文没有单独的 Limitations 节。
零样本规划的目标是 F 帧后的真值相机图。这是把世界模型从策略学习里剥离开的办法，也是最大的评测特权。真实车上没有未来画面当 goal。论文没有测目标改成指令、高精地图或预测图像时，规划还剩多少。
候选锁在 VADv2 的 8192 条聚类轨迹里，规划是在词表上检索，不是连续控制优化。0.8 秒（256 条）和 18.2 秒（8192 条）都是 A100 数字，对 2 Hz 的 NAVSIM 采样勉强能进一拍，更高频控制不够用。
安全乘性项是短板。全量 256 条设定下，可行驶区域合规 DAC 为 82.0，扩展舒适性 EC 为 35.5；同一套模仿学习头能把这两项做到 93.7 和 88.7。EPDMS 把碰撞、可行驶区域、行驶方向、红绿灯做成乘法门，世界模型没针对这些训练，分数被门控卡住是预期内的。论文因此另报了去掉安全门的 EPDMS†。
100 景子集上，navtrain 加 rollout 会把 EPDMS 从 76.6 降到 70.4，同时终点位移变好。论文说可能是子集方差，也可能是潜空间距离目标和 NAVSIM 驾驶指标并不对齐。全量上 rollout 是涨的，但子集和全量的排序已经不完全一致，拿 100 景跟 DINO-WM 比要留心。
没有闭环车端和多相机输入，也没有激光雷达。和 Drive-JEPA、WA-JEPA 那些带模仿或打分监督的系统，也没有同一协议下的零样本对照。