LeCun 论文:109M 小模型在表征匹配上击败 72B 模型，规模并非关键

examachine · x · 2026-11-02

Yann LeCun 与 Randall Balestriero 的论文研究了为何在文本和图像上训练的模型会发展出相似的内部世界表征。关键发现：一个仅 109M 参数的模型在「内部表征与图像模型的匹配程度」测试上击败了高达 72B 的模型，规模差距约 660 倍——说明规模本身并不能解释表征趋同。真正起作用的是训练时样本的配对方式：同一场景的两类观测（如图文对）给模型提供了可学习的共享概念，而仅从上文预测下一个词的连接则更间接。实验显示，采用更好配对方式的训练方法所需的样本/计算量少 42 倍。发帖人借此讽剧行业对规模的执念。