D-JEPA 论文提出决策对齐潜在世界模型,PushT 成功率 87.89%
NEBULIS-Lab · hf · 2026-09-29
NEBULIS-Lab 发布 D-JEPA：一种决策对齐的潜在世界模型论文。
核心问题：潜在世界模型能预测动作后果，但预测准确不等于「潜在距离」能反映哪个候选动作能成功执行。作者指出存在「决策局部预测鸿沟」：在少数竞争执行的候选未来中，预测上更接近目标的候选可能产生更差的落地结果。
方法：D-JEPA 从已执行结果中学习候选未来之间的决策相关关系；用有界、置换等变的算子对目标相对预测特征和序数证据联合推理，在动作选择最关键处精调预训练预测几何；通过受限预测器适配和共享序数接口跨多种预测几何对齐，并落地为 JEPA 兼容的未来表征，支持原生潜在距离规划。
实验结果：在潜在控制、操作任务、预训练动作模型、实体机器人和自动驾驶上均有提升——PushT 成功率 87.89%，RoboTwin 平均提升 15.04 分，实体机器人任务提升 17 分。结论：决策相关的关系结构是预测式世界建模通向有效控制的直接桥梁。
「具身」频道最新
- 前沿模型直驱 CAD 与机器人:研究者维护 243 案例动态综述库 — YuXiang_IRVL · 2026-09-29
- Sentdex 将机器人运动训练移植到 mjlab,走路姿势仍像老头 — Sentdex · 2026-09-29
- OpenAI 研究员 Sheryl Hsu 离职,下一步投身 AGI 后的机器人研究 — SherylHsu02 · 2026-09-29
- YC 系 Aviern 用无人飞机自动巡检油气管线,30 秒内定位异常 — ycombinator · 2026-09-29
- 机器人公司 Roboteur 招聘夹爪/灵巧手专家 — neurosp1ke · 2026-09-29
- 沃尔沃自动驾驶运输系统已自主搬运 300 万吨土方 — cisc · 2026-09-29