LeCun 的世界模型路线：预测表征而非像素，用 MPC 式代价最小化规划

le_james94 · x · 2026-10-13

lejames94 总结 LeCun 在 ETH 的世界模型讲法：给定动作预测下一状态，再通过最小化代价来规划——本质是「回到 1960 年代最优控制里非常经典的模型预测控制（MPC）」，新意在于预测的是表征而非像素。

配图解释了为什么不做像素级预测：预测像素级未来会平均不相容的未来，得到模糊；而 JEPA 在表征空间做 encode(x)+action→predicted state=encode(y)，编码器可自由丢弃不可预测的部分。隐患是表征坍缩（编码器输出常数使预测变平凡），需用 SIReg 等正则保持嵌入分散。规划循环五步：感知→提议动作→世界模型预测→打分（代价为零即任务完成）→对动作序列最小化代价。