Meta FAIR 与 NYU 控制变量研究:多模态模型未必需要预训练视觉编码器
NielsRogge · x · 2026-11-18
Meta FAIR 与 NYU(Saining Xie、Lucas Beyer、Luke Zettlemoyer 等)发布论文《Unbundling Multimodal Vision Encoding》,用严格控制变量的实验回答「多模态模型该如何编码视觉输入」。
- 实验设计:以往公开模型在数据、架构、算力上各异,无法归因;此研究让所有模型从零开始在相同数据上预训练,在匹配算力下对比 VQA 与语言基准。
- 视觉先验非必需:与语言模型联合从零训练的编码器,效果与预训练编码器相当,且省去独立训练阶段。
- 专用视觉容量才是关键:即使把编码器参数量加到 backbone 上,encoder-free 模型在视觉理解上仍然落后。
- 位置可灵活:视觉模块不必放在融合之前——加到 backbone 早期层的 in-fusion 视觉模块表现相当,还能降低首 token 延迟(TTFT)。
- 结论在多个 backbone 规模下均成立,即使把编码器预训练视为免费开销也如此。
「模型」频道最新
- 516 组实验证伪多智能体神话:通信不涨点,还平均倒退 4% — Seyed Mahmoud Sajjadi Mohammadabadi · 2026-11-18
- Reddit 网友实测:高推理档 Opus 5.5 已够用,GPT-6.2 低价策略能否奏效 — Bitter-College8786 · 2026-11-18
- ARC-AGI-3 评测方详解 provider adapter:各家模型用自家推荐配置跑分 — mhmazur · 2026-11-18
- Opus 5.5只用30分钟克隆博主文风,作者感叹模型接连陨落 — IgorCarron · 2026-11-18
- Marin 开放 535B MoE 全部 57 个中间检查点,含 18.2T tokens 训练曲线 — dlwh · 2026-11-18
- 实测对比:GPT-6.2 Sol 体素生成多数倒退,但速度快很多 — Angaisb_ · 2026-11-18