LeCun 参与推出 AD-E2E-JEPA：世界模型免训练策略端到端自动驾驶
ylecun · x · 2026-09-30
Haoran Zhu、Wancong Zhang、Yann LeCun 与 Anna Choromanska 联合发布论文 AD-E2E-JEPA(arXiv 2609.34085),探索"不训练驾驶策略、仅靠世界模型能否开车"。
- 论文先系统评估了现有动作条件 JEPA 世界模型(LeWM、DINO-WM、JEPA-WM)在端到端自动驾驶中的表现,采用 goal-conditioned 零样本规划设置——用真实未来观测作为目标,完全不训练驾驶策略,以隔离世界模型质量与策略学习的影响。
- 发现现有模型呈现两难:要么规划准确但计算昂贵,要么高效但不足以支撑规划。
- AD-E2E-JEPA 引入 SIGReg 正则化的可学习投影器,将规划 patch 数减少 16 倍、嵌入维度减少 4 倍,实现 100 倍推理加速:8 帧 rollout、256 条候选轨迹仅约 0.8 秒。
- 在不训练任何驾驶策略的情况下,仅靠世界模型 rollout 与轨迹词表,平均能把目标送达 20 米外、位移误差 4.0/2.8 米。论文与代码均已公开。
「具身」频道最新
- NVIDIA 开源 HumanoidMimicGen：1 条遥操作演示自动生成数千条人形数据 — AjayMandlekar · 2026-09-30
- 特斯拉 CyberCab 无人驾驶体验又获好评,博主晒二次乘坐感受 — whurley · 2026-09-30
- 激光照射 Kapton 胶带造出石墨烯，装上 3D 打印机可精确加工 — johnowhitaker · 2026-09-30
- Muse Charm 挂件装 AI 智能体：像电子宠物一样「吃数据」续命 — BenBajarin · 2026-09-30
- 用 MiniMax H3 拼接街机赛车视频背景:跨片段透视与速度连续性难题 — NoMarionberry9951 · 2026-09-30
- 机器人策略元数据条件化实验失败：文本提示被完全忽略 — DominiqueCAPaul · 2026-09-30