Meta FAIR+NYU 训练 200+ 多模态模型：视觉编码器预训练并非必需
trungh98 · reddit · 2026-11-16
Meta FAIR 与 NYU 的论文 Unbundling Multimodal Vision Encoding 把标准视觉编码器捆绑的三个设计选择拆开逐一验证：独立预训练、专属视觉参数、置于 LLM 之前。实验统一从零训练 200+ 个模型（含 LLM），按同等全生命周期算力对比，主实验用 Qwen3-1.7B/4B 配置，覆盖 0.6B–6.4B 规模。
核心发现：
- 独立预训练是可选的：用对比学习/自监督/字幕等四种目标预训练的编码器，在匹配算力下最多只是与从零训练打平；即使免费赠送预训练也无帮助（MetaCLIP 预训练延长 6.5 倍，ImageNet 线性探测 80.4%→84.4%，但 VQA 不涨）。
- 专属视觉参数是必需的：无编码器模型在 0.6B–6.4B 全尺寸都落后，需约 3 倍算力才能追平；把编码器参数给 LLM 只提升文本能力，不提升 VQA。
- 放在 LLM 之前也是可选的："in-fusion"方案在 LLM 前 8 层加入零初始化、文本 token 不使用的视觉专属权重，1.7B–6.4B 上与独立编码器相当，且首 token 延迟降低约 13%（1.7B 上 VQA 45.0 vs 44.4）。
- 从预训练 LLM 出发做 midtraining 时结论同样成立。
结论：视觉需要自己的参数，但不需要自己的预训练或独立编码器。这直接回应了当前各家实验室的分歧（如 Gemma 4 12B 去掉编码器、Kimi K3 从零训练编码器、Inkling 2 Small 又用回编码器）。
「模型」频道最新
- Fable 5.2 自发构想「Hard Way Day」：一年一天不用 AI 亲手做事 — realSharonZhou · 2026-11-16
- 多个模型都把自己画成跟随你的漂浮星球，原因不明 — realSharonZhou · 2026-11-16
- 索尼发布迄今最强 SpeechLLM Walrus，识别翻译理解全面 SOTA — mittu1204 · 2026-11-16
- 开源模型检索工具推出 model trees,改进模型发现页面 — burny_tech · 2026-11-16
- 图像蒸馏模型够用了?业余玩家:速度快 6 倍,仅手部和细节有差距 — Aaron_rowe81 · 2026-11-16
- 用户吐槽:AI模型越来越强, infantilizing 安全护栏却越来越多 — VraserX · 2026-11-16