LLM 权重里没有「知识」？LeCun 与学者激辩 JEPA 世界模型

solyarisoftware · x · 2026-11-05

Aaron Barenholtz 提出：LLM 权重中并不存在离散的事实编码，模型只是利用训练数据修改权重以自回归地续写输入，这本身就可以视为一种「理解」。LeCun 引用并回应：LLM 确实积累了大量陈述性知识，这正是它们需要巨量参数和内存的原因；但可以用「理解」取代知识积累——这正是 JEPA 世界模型的思路，能以远少于 LLM 的内存和训练数据发挥作用。他提到一篇论文显示：在 SIGReg/VCReg 等防坍缩准则训练下，数据的相似性结构（文本共现或图像物体共现）唯一决定表示点云的形状。