Meta与牛津研究发现仅5%图像数据即可激发多模态能力

Meta与牛津大学的联合研究发现，多模态模型训练存在反直觉的特性：仅需约5%的图像生成数据即可有效激发强大的多模态能力。研究表明，若从一开始就同步进行语言和视觉理解训练，语言能力本身就能极大帮助模型理解视觉，且视觉理解与图像生成能力能够相互促进。这意味着多模态训练的重点并非机械地平衡各模态数据量，而是应充分发挥语言模型的驱动作用。

2026-08-14 ~ 2026-08-14 · 2 条相关