LeCun 新论文证明柏拉图表示假说：JEPA 对齐样本效率高 42 倍
burny_tech · x · 2026-11-01
Yann LeCun 与 Randall Balestriero（Brown 大学/NYU/AMI Labs）发表新论文，把「柏拉图表示假说」（PRH）从猜想变成了定理。
核心结论：
- 证明了「柏拉图表示定理」：多个分别训练的 JEPA（联合嵌入预测架构），只要正样本对来自同一场景的两种观测（好视角/good views），学到的表示在相差一个旋转的意义上是相同的——即使完全不用图文对训练。
- 论文指出 next-token prediction 本质上是「坏视角」的 JEPA（同一文档的局部片段），这解释了为什么语言模型只能靠规模才与视觉对齐。
- 实证验证覆盖 14.5 万条 caption 到 9.4 亿网络图片文本，发现了可预测未见训练的对齐 scaling law。
- 样本效率： 达到同样对齐水平，好视角比 next-token 训练少用 42 倍样本；21.6M 样本的 text JEPA 对齐效果即超过 Qwen2.5-72B、Llama-3-70B（用 15-18T token 训练）。
- 109M 参数的 text JEPA 与 DINOv2/CLIP 图像编码器的对齐好于所有被测语言模型（至 72B）乃至 CLIP 文本编码器。
应用展示： 仅一次旋转即可把分别训练的编码器变成图像 captioner（COCO 上 CIDEr 0.838），且无需配对数据；pair-free 基准上零样本 top-5 达 64%，超过所有 ≤8B 语言模型的报告成绩。
结论：构建柏拉图表示的关键杠杆是「好视角」，而非单纯的规模。
所属事件:LeCun 等证明柏拉图表示假说：109M JEPA 胜 72B LLM(17 条相关)→
「研究」频道最新
- 让 Agent 自管激活值：用 Control Vectors 探索模型自控实验 — sloppenheimer · 2026-11-01
- Claude 自主设计蝎毒蛋白结合剂:211 个送实验室验证 17 个结合成功 — shoumikgoswami · 2026-11-01
- HF 开源 DNA 基础模型 Carbon 全家桶:数据、模型与训练配方全公开 — LoubnaBenAllal1 · 2026-11-01
- Hugging Face 团队 Carbon-X:DNA 任务超越所有开源语言模型 — LoubnaBenAllal1 · 2026-11-01
- FineDNA 中训是 RL 生效前提：直接在 Qwen3-14B 上 RL 仅停留在随机水平 — LoubnaBenAllal1 · 2026-11-01
- Qwen3-14B 用对学习率做 FineDNA 中训：DNA 涨分且英文不掉 — LoubnaBenAllal1 · 2026-11-01