Platonic 表示假说被证明为定理:109M JEPA 对齐视觉胜过 72B LLM
ClementineDomi6 · x · 2026-10-30
- Randall Balestriero(与 Yann LeCun 合作)宣布「Platonic Representation Hypothesis」已成定理：分别在不同模态上训练的 JEPA 模型，可证明会学到相同的表示，最多相差一个正交旋转。
- 核心证明思路：「好视图」保留共享的世界结构、独立重采样模态特有的干扰因素；配合白化 MSE 与谱隙条件，不同模型最终学到同一个世界特征空间，只是基不同，因此一次旋转即可对齐。
- 配套论文 λ-JEPA(arXiv:2609.35288)提出谱抗坍缩正则化 SACReg:针对投影头前后表示不一致导致的骨干维度坍缩问题，用 λ-balance 分析诱导抗坍缩，在 ImageNet-1k 分类及八个下游数据集线性探测迁移上超过 LeJEPA 与 VISReg,视频自监督上也超过 V-JEPA 2。
- 展示结果：109M 的 JEPA-Text 模型与视觉模型的对齐程度优于 72B LLM。转发者指出 SACReg 的条件与该定理高度契合。
所属事件:柏拉图表示假说成定理：JEPA 小模型胜大 LLM(12 条相关)→
「模型」频道最新
- 「一宕机就进化」:DeepSeek 疑似偷偷升级被鹈鹕图抓包 — teortaxesTex · 2026-10-31
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- Claude 画鹈鹕骑自行车惊艳众人:Fable 5.5 Max SVG 能力演示 — ChrisGPT · 2026-10-31
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31