Meta FAIR 论文:多模态模型不需要预训练视觉编码器,关键是专用视觉容量
meta · hf · 2026-11-14
Meta FAIR 与 NYU 的论文《Unbundling Multimodal Vision Encoding》把视觉编码器拆成三个通常被捆绑的设计选择:视觉先验(上游预训练)、专用视觉容量、融合前放置位置,并在统一数据、匹配计算量的受控框架下从零预训练逐一消融:
- 视觉先验并非必需:从零联合训练的编码器与预训练编码器表现相当,无需单独训练阶段。
- 真正重要的是专用视觉容量:encoder-free 模型只要给 backbone 增加等量参数的视觉容量,视觉理解不落下风。
- 容量不必放在融合之前:在 backbone 早期层以 in-fusion 方式加入纯视觉模块,效果与 pre-fusion 编码器相当,还能降低首 token 延迟。
- 结论在多种 backbone 规模、视预训练为免费、以及从预训练语言模型出发等设定下均成立。
「多模态」频道最新
- Recraft V4.1 Flash 发布：1.1 秒出图，文字与细节更强 — aziz4ai · 2026-11-14
- 单相机拍摄即可生成可动的 3D 高斯泼溅,还能加打击帧 — andrew_n_carr · 2026-11-14
- AI 生成婚礼翻车现场：策划了新人却没策划那只猫 — umesh_ai · 2026-11-14
- Gemini 实时把全球闪电化作生成式配乐,Hydrogen 造出 3D 地球 demo — GeminiApp · 2026-11-14
- AI 检测器 Pangram 能从翻拍照片中认出 Photoshop 合成部分 — goodside · 2026-11-14
- 网友用 MiniMax H3 生成视频片段并求评价 — EvenSheepherder390 · 2026-11-14