LeCun 团队证明柏拉图表示假说:好视角比规模更省 42 倍算力
galilai-group · hf · 2026-10-30
Brown 大学 Randall Balestriero 与 Yann LeCun 等发布论文，将柏拉图表示假说(PRH)转化为可证明的定理与可操作配方。
核心结论
- 柏拉图表示定理:分别训练的 JEPA(联合嵌入预测架构)，只要正样本对来自同一场景的两个观测(好视角/good views)，其学到的表示在旋转意义下收敛到同一表示，与模态和数量无关。
- next-token prediction 是坏视角的 JEPA:语言建模预测同一文档的其他部分，因此 LLM 只能靠规模实现对齐——这解释了为何语言模型对齐视觉必须堆参数。
- 42 倍效率差距:好视角表示比 next-token 预测达到同样对齐水平少用 42 倍训练样本，并给出可预测未见实验的对齐 scaling law。
- 实测:109M 参数文本 JEPA 对齐 DINOv2 与 CLIP 图像编码器的能力超过所有被测语言模型(最高 72B),也优于 CLIP 文本编码器；一次旋转即可把独立训练的编码器变成图像描述器(COCO CIDEr 0.838);在无配对 benchmark 上，文本 JEPA 零样本超越 8B 以下所有语言模型(ImageNet-100 top-5 64% vs 最多 56%)。
结论:跨模态对齐的关键杠杆是正视角设计，而非规模本身。附代码与在线 demo。
所属事件:柏拉图表示假说成定理：JEPA 小模型胜大 LLM(12 条相关)→
「多模态」频道最新
- AI 生成童话短片：眼泪变毛线，全镇疯狂造泪 — gizakdag · 2026-10-31
- ComfyUI 预览图节点扩展：点击即可一键保存出图 — sitefall · 2026-10-31
- 用 Gemini 全家桶拍 MKUltra 黑历史微剧,总 API 花费仅约 $35 — korymath · 2026-10-31
- 手柄当无人机操控镜头:Godot 相机路径数据喂给 Wan 生成视频 — droidsculptor · 2026-10-31
- Customuse 推出 Decals:解决 3D AI 模型生成清晰 Logo 与文字的短板 — SimplyAnnisa · 2026-10-31
- Grok 谱出一部交响乐：13 种乐器共 39480 个音符 — TinfoilTricorn · 2026-10-31