Meta 与 NYU 研究:多模态 LLM 未必需要预训练视觉编码器

Meta FAIR 与 NYU 研究者(Ellis Brown、Hu Xu、Sarking Xie 等)发布论文《Unbundling Multimodal Vision Encoding》,将标准视觉编码器捆绑的三个设计选择拆开逐一验证,并训练了 200 多个多模态模型进行实验。研究发现视觉编码器的独立预训练并非必需,视觉先验不是关键,多模态 LLM 的关键在于专用的视觉容量。

2026-11-16 ~ 2026-11-16 · 2 条相关