Meta FAIR 训练 200+ 模型拆解视觉编码器:预训练可省,专属视觉容量是关键

mengyer · x · 2026-11-14

Meta FAIR 与 NYU 的论文《Unbundling Multimodal Vision Encoding》(arXiv:2611.17334)通过在统一数据与算力下从零预训练 200+ 模型的受控实验,把视觉编码器捆绑的三个设计选择拆开验证:上游视觉先验、专属视觉容量、融合前(pre-fusion)放置。结论:视觉先验并非必需——与语言模型联合从零训练的编码器效果与预训练编码器相当,且无需单独训练阶段;真正关键的是专属视觉容量——encoder-free 模型即使把省下的参数加回 backbone,视觉理解仍然落后;但该容量不必放在融合之前,加在 backbone 早期层内的 in-fusion 视觉模块表现相当,还能降低首 token 延迟。这解释了各实验室路线分歧(Gemma 4 12B 去掉编码器、Kimi K3 取消编码器预训练等),建议是「保留视觉参数,跳过其预训练」。