LeCun 谈 JEPA:用「理解」替代知识堆叠,参数与数据需求大幅降低
ylecun · x · 2026-11-02
Yann LeCun 回应一篇「109M 参数胜过 72B」的论文,阐述其背后的理论逻辑:
- LLM 靠积累大量陈述性知识来回答问题,这正是它们需要海量参数和内存的原因。
- JEPA 世界模型的思路是用「理解」替代知识积累:数据(文本共现、图像中物体共现)的底层相似性结构,在用 SIGReg/VCReg 等防坍缩准则(而非重建)训练编码器时,唯一决定了表征点云的形状。
- 因此这类模型可以用远少于 LLM 的内存和训练数据发挥作用。
背景:LeCun 长期主张「规模不是理解世界的关键」,已于 2025 年 11 月离开 Meta,在巴黎创立自己的实验室。
所属事件:LeCun新论文：1.09亿参数小模型表征胜过72B(8 条相关)→
「模型」频道最新
- 1300+ 词联想线索实测：Google 模型胜 OpenAI，Anthropic 垫底 — Hardicecream17 · 2026-11-04
- 前 OpenAI 研究员:对齐是能力瓶颈,Claude 或已藏有未知能力 — arthurcolle · 2026-11-04
- BallotBench 模拟交易：Gemini 激进做多冲上 67 美元 — mariofilhoml · 2026-11-04
- Claude Opus 5.5 发布 5 周：周消耗 31.7T tokens、周消费 1300 万美元居首 — scaling01 · 2026-11-04
- Liquid AI 发布 d1-ultra,第三方评测与 SubQ、Elephant 同分并列 — JosephJacks_ · 2026-11-04
- Fireworks Nexus Auto 达 Vals Router Index 60%,登顶单价仅 $1.25 — sophiamyang · 2026-11-04