LeCun 论文实锤:1.09 亿参数模型表征胜过 720 亿参数 LLM
heyshrutimishra · x · 2026-11-02
Yann LeCun 离开 Meta 后与 Randall Balestriero 在巴黎新实验室发布论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》,把「柏拉图表征假说」从猜想变成定理。
- 核心结论:决定模型能否形成统一世界表征的不是规模,而是训练时配对呈现的「视图」质量。图片+对应说明文字是同一事物的两个视图(good views),能让模型快速对齐;而同文档两段文字(next-token prediction 属此类)是 bad views,学习又慢又贵。
- 数据:在同一语料上,good-view JEPA 只需 4200 万样本即可达到 next-token 预测需 9 亿样本的对齐水平(42 倍样本效率);仅 1.09 亿参数的文本 JEPA 与 DINOv2/CLIP 图像编码器的对齐程度,超过所有被测语言模型(最高 72B),比其小 660 倍。
- 应用:单独训练的文本 JEPA 旋转后即可作图像分类器(COCO 上 CDER 0.838),在无配对 benchmark 上以 64% top-5 击败所有 ≤8B 语言模型的 56%。
论文称 next-token 预测是通往柏拉图表征「效率惊人低下」的路径,直接挑战了自 2024 年以来行业默认的「规模即理解」叙事。
所属事件:LeCun 新论文：1.09 亿参数模型表征胜过 720 亿参数大模型(2 条相关)→
「漫话AGI」频道最新
- DeepMind 发布《The Economics of Intelligence》定义 AGI 经济阈值 — soumitrashukla9 · 2026-11-02
- CEA 20 名分析师可被 AI 替代？Jason Furman 谈职业培养管线断裂 — soumitrashukla9 · 2026-11-02
- 过度依赖与使用不足都是错：经济学家谈 AI 使用的正确姿势 — soumitrashukla9 · 2026-11-02
- 粗算:70 年后机器每 FLOP 成本首次低于人类大脑 — scychan_brains · 2026-11-02
- Claude agent 自主选定基因疗法并注入活鼠大脑，Opus 拒绝执行 — mark_k · 2026-11-02
- NLW 播客解读 Venkatesh Rao「认知重商主义」论 AI 与人类心智未来 — emax · 2026-11-02