LeCun 路线新证:LeWorldModel 单 GPU 训练,规划快 48 倍
ylecun · x · 2026-11-10
Yann LeCun 长期主张逐像素生成把算力浪费在细节上、而非学习世界运行规律,其倡导的 JEPA(联合嵌入预测架构)在压缩表征空间里预测未来,但一直受「表征坍缩」困扰,现有方法依赖复杂多 term 损失、EMA 或预训练编码器。
LeWorldModel(LeWM)论文(作者含 LeCun,来自 Mila、NYU、Samsung SAIL、Brown)提出首个可从像素端到端稳定训练的 JEPA:
- 仅用两项损失:下一嵌入预测损失(MSE)+ 强制潜在嵌入服从高斯分布的 SIGReg 正则化,可调损失超参从 6 个降到 0
- 不用 stop-gradient、EMA 或预训练表征等启发式
- 仅 1500 万参数,单 GPU 数小时即可训练
- 规划速度比基于基础模型的世界模型快最多 48 倍,同时在 2D/3D 控制任务上保持竞争力
- 潜在空间可探针出物理量,惊讶评估表明模型能可靠识别不符合物理的事件
代码已开源。
「研究」频道最新
- 《State of Tabular AI Report 2026》将于 11 月 24 日发布 — GaelVaroquaux · 2026-11-10
- Nebius 发布 Longtail-SWE：覆盖 13 门冷门语言的 202 道仓库级任务 — nebius · 2026-11-10
- Goodfire 神经几何系列：沿流形转向可控网络，Llama 内发现加法模块 — burny_tech · 2026-11-10
- 清华/英伟达等推出 StreamEval：38 个模型暴露流式视频生成的真实短板 — jiqizhixin · 2026-11-10
- Neel Nanda 经典论文：机制可解释性拆解 grokking 三阶段 — burny_tech · 2026-11-10
- 把 AI 当安全审计员扫全球法律库，用形式化方法找税法漏洞 — SnooPeripherals5313 · 2026-11-10