LeCun 转发新论文:柏拉图表征假说被证明,JEPA 少 42 倍样本达到同等对齐

ylecun · x · 2026-11-05

LeCun 转发了一篇他与 Brown 大学 Randall Balestiero 合作的论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》。

核心内容:

证明与定理化:柏拉图表征假说(PRH)此前只有经验观察,论文将其转化为定理——分别训练的任意模态 JEPA,只要正样本对是同一场景的两个「好视角」,其编码器会收敛到仅差一个旋转的同一表征;坏视角带来的错位则处处有界。
解释语言模型对齐:语言模型之所以与视觉模型表征对齐,仅因为文本是同一文档的多个视角,且这种对齐随规模增长。
实证验证:用 145k 个 caption 和 940M 张网络图片验证了对齐 scaling law,可预测未见过的实验,精度达到种子噪声级别。
效率结论:好视角训练比 next-token prediction 少 42 倍样本即达同等对齐;109M 参数文本 JEPA 与 DINOv2 的对齐超过 Qwen2.5-72B 和 Llama-3-70B。next-token prediction 被证明是通向柏拉图表征的「惊人低效」路径。
零样本能力:文本 JEPA 在 ImageNet-100 零样本分类上以 8B 参数达到 64% top-1,超过 56% 的 5B 参数基线。

结论:柏拉图表征的关键杠杆是「正样本视角」,而非单纯的规模。

「研究」频道最新