LeCun 等证明 JEPA 版「柏拉图表示假说」，109M 模型胜过 72B
randall_balestr · x · 2026-10-30
Randall Balestriero 与 Yann LeCun 等发布论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》，核心结论：
- 理论证明：在「好视图」（同一场景的两次观测）条件下，分别在任何模态上训练的编码器会学到相同的表示（仅差一个旋转），即柏拉图表示假说（PRH）对 JEPA 成立。
- 对 LLM 的含义：next-token prediction 本质上是「坏视图」的 JEPA，因此 LLM 只能靠规模弥补，才能与视觉表示对齐——单纯扩规模是低效路径。
- 实验数据：一个 1.09 亿参数的「好视图」文本 JEPA 在 PRH 基准上得分 0.184，超过 Qwen2.5-72B（0.154）和 Llama-3-70B（0.151），且所需样本比同文本上的 next-token prediction 少 42 倍。
- 提供 Hugging Face 在线 demo（可为自己的照片/视频生成 caption，未用图文对训练）和 GitHub 代码仓库。
所属事件:柏拉图表示假说成定理：JEPA 小模型胜大 LLM(12 条相关)→
「模型」频道最新
- Anthropic 取消 5 小时限制、Max 20x 改名 Ultra，作者预警 20x 将缩水 — doodlestein · 2026-10-31
- Cartesia 语音 agent 平台盲测登顶：级联方案击败原生 speech-to-speech — rohanpaul_ai · 2026-10-31
- 博主纠错 SWE-bench 数据：新模型在极难题目尾部反而更差 — teortaxesTex · 2026-10-31
- Hyperflow H3 登顶视频榜前五，价格不到 Seedance 2.5 一半 — ArtificialAnlys · 2026-10-31
- RTX 6000 PRO 用户福音：Qwen 3.8 Flash Next 的 FLARE 1M 上下文镜像发布 — johannes_bertens · 2026-10-31
- 传 GPT-6.5 "Bel" 曝光，博主提议用「无规则游戏测试」替代发布会演示 — VraserX · 2026-10-31