109M 文本 JEPA 对齐成绩超 660 倍大的 72B LLM

randall_balestr · x · 2026-10-30

Randall Balestr 团队（与 Yann LeCun 合作）在 PRH（Platronic Representation Hypothesis）基准上报告：其 109M 参数的 text-JEPA 用 DINOv2 图像编码器得 0.184，超过 Qwen2.5-72B（0.154）与 Llama-3-70B（0.151）；换成 CLIP 图像编码器得 0.23，超过此前 SOTA 0.21，而那些 LLM 参数量是其 660 倍。

作者解释：LLM 的下一个词预测等价于「坏视角」的 JEPA——前缀与其续写只是同一观测的两个低信息量损坏视图，迫使编码器把维度浪费在各模态自身的噪声上，任何旋转变换都无法对齐，导致扩展性差。配图显示在 WIT-1024 协议下，good-view JEPA 仅用约 1/42 的训练样本即可达到 next-token 目标同等的对齐度。