LeCun 团队推出反事实世界模型,JEPA 四年演进到「如果我当初换一种做法会怎样」
TheTuringPost · x · 2026-11-21
TheTuringPost 长推梳理 JEPA 世界模型四年的演进脉络,并引出 Yann LeCun、Randall Balestriero 等人的新论文——反事实世界模型(Counterfactual World Models)。
JEPA 路线时间线:
- 2022-06:LeCun 发布立场论文《A Path Towards Autonomous Machine Intelligence》,提出 JEPA——预测「下一步的表示」而非像素,把预测式世界模型放在智能体中心
- 2023-01 I-JEPA:从图像一个块预测其他块的表示,无需手工增广
- 2024-02 V-JEPA:同样的想法扩展到 200 万视频;冻结 ViT-H/16 在 Kinetics-400 达 81.9%
- 2024-11 DINO-WM:从离线轨迹预测 DINOv2 patch 特征并据此规划
- 2025-02 PLDM:用无奖励离线数据训练 JEPA 做规划
- 2025-06 V-JEPA 2 / 2-AC:在 100 万+小时网络视频上预训练,2-AC 仅用不到 62 小时机器人视频后训练,就在两个实验室的 Franka 机械臂上零样本完成 pick-and-place,向图像目标规划
新论文的核心问题:标准 JEPA 只能回答「如果我这样做会发生什么」,无法回答「如果我当初换一种做法会怎样」。论文用带隐藏洋流的船只做类比:观察真实结果能告诉你洋流做了什么,但标准 JEPA 被问反事实问题时只会返回平均值,丢掉这份信息。论文证明:仅用事实转移训练的模型,无论数据量或容量多大,都无法自行回答反事实问题;反事实世界模型则在模拟中估计「同一隐藏扰动下,另一种动作本会带来什么」。
所属事件:LeCun 等发布反事实 JEPA 世界模型论文(12 条相关)→
「具身」频道最新
- 特斯拉 FSD V15 可视化爆火:精细 3D 夜景渲染引热议 — DimaZeniuk · 2026-11-22
- 六年对比图:特斯拉 FSD 可视化从点线进化到逼真 3D 夜景 — XFreeze · 2026-11-22
- YQ Bionics 推出 38 自由度灵巧手 Y-Hand M2,让 AI 获得物理交互能力 — CurieuxExplorer · 2026-11-22
- 博主称特斯拉 FSD 光子重建已超肉眼,恶劣光照下看得更清 — XFreeze · 2026-11-22
- 调试机器人策略要开 5 个窗口,Kyros Labs 做 Kepler 一体化工作台 — Repulsive-Fee-2735 · 2026-11-22
- 马斯克:Optimus 机器人 12-18 个月内将能洗碗、倒垃圾 — nikola_mr64990 · 2026-11-22