LeCun 详解 JEPA/DINO 技术差异:基础研究远早于规模化

May_F1_ · x · 2026-11-08

Yann LeCun 发长文澄清自监督学习架构的技术细节,回应外界对 Meta FAIR 研究路线的讨论:1) 图像/视频 SSL 方法的区别在于是否用重建,联合嵌入架构可有可无 predictor(JEA vs JEPA),还有防坍缩方法与数据增 corrupt/augmentation 的差异;2) DINO 技术上就是一种 JEA(JEPA 类),与其他 JEPA 的区别在防坍缩判据(对比聚类+stopgradient/EMA)与针对任务的图像变换增广方案;3) V-JEPA 2.1 与 DINO 同出自 Meta-FAIR 企业实验室,背后有大量工程团队、私有大数据集、可观算力与微调。转发者借此强调:不要混淆上游方法的基础研究与下游的规模化→工程→刷数字→产品,基础研究需要时间才能规模化。