Unbundling Multimodal Vision Encoding
Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu
cs.CV, cs.LG
2026-11-13
受控实验显示,vision encoder 的预训练和前置位置都可以省,只有专属视觉容量不能省;encoder-free 要约 3 倍算力才能追平。
多模态语言模型怎么吃图像,眼下三种配方并存。主流做法接一个单独预训练过的 vision encoder(CLIP、SigLIP 这类);Kimi K3 改成让 encoder 与语言模型一起从零训练;Fuyu、Gemma、Inkling 一路的 encoder-free 模型干脆删掉 encoder,图像 patch 经线性投影直接进主干。争不出结果的原因很直接:vision encoder 捆绑着三个独立的设计决策,即上游预训练带来的视觉先验、只服务视觉 token 的专属参数容量、这些参数放在图文融合之前(pre-fusion)。已发表模型在数据、算力、架构上各不相同,横向对比什么都隔离不出来;此前的受控研究要么只在不同的预训练 encoder 之间比,要么把容量和位置一起改掉。
Meta FAIR 与 NYU 的工作把三个变量逐一拆开,在统一协议下从零训练每一套配方再比。
协议的核心是一切对齐:
评测取 16 个 Cambrian VQA benchmark 的分类平均(先在 Cambrian-7M 上指令微调 3 个 epoch、448 分辨率)加 12 个语言 benchmark 的分类平均。
| 对比 | 设置 | 结果 |
| 从零 encoder vs 预训练 encoder | 1.7B,预训练占预算 7.4%–15% | 四种目标全部打平;占 60% 时文本和 VQA 双双低于从零版 |
| 白送的预训练 | 固定 2.7×10^21 多模态算力,MetaCLIP 预训练从 1.4 加到 9.0×10^21 | ImageNet linear probe 80.4%→84.4%,Avg. VQA 反而最短预训练最好 |
| scratch encoder vs encoder-free | 1.7B,2.6×10^21 FLOPs | Avg. VQA 44.4 vs 39.0,差距集中在 OCR 与图表类 |
| encoder-free 主干补 0.4B 参数 | 加宽、加深、同时 | 38.6–38.8,文本涨了,视觉没追上 |
| in-fusion 容量放哪 | FFN 支路,前 8 层 vs 其他位置 | 前 8 层 45.0(≈encoder 44.4);后 8 层 35.1、每层窄支路 39.4、均匀摊 8 层 37.6,都不比 encoder-free 的 39.0 强 |
| scaling 拟合 | 0.6B–6.4B | encoder-free 需约 3 倍算力追平,in-fusion 全程贴住 encoder |
| midtraining | 1.7B 文本模型(1T token)加视觉到 1.33T | in-fusion 50.1 ≈ 从零 encoder 48.6 ≈ MoT 前 8 层 48.5;免费 MetaCLIP 43.5,encoder-free 39.8 |
| 推理延迟 | 1.7B,单张 H200,16 并发,448 图 + 256 文本 token | encoder-free 首 token 145ms,in-fusion 只多 16–20ms,独立 encoder 的串行开销在百毫秒级 |
与 Shukor et al. (2025)「encoder-free 打平甚至更好」的结论相反,论文把分歧归因于对方 encoder 学习率偏小,而且用文本、交错、标题三种 loss 的平均去拟合 scaling law,视觉信号被稀释;held-out caption loss 与 VQA 排序一致,能照出 encoder-free 的短板。
更贵的 patch embedding 也救不了 encoder-free:仿 Gemma 的两层投影和仿 Inkling 的四层层级 MLP 在 224 分辨率下都补不上差距,层级 MLP 只有把 640×640 图压进同样 256 个 token 时才追平 encoder。
三条结论都能直接换成选型决策。第一,encoder 的预训练阶段可以砍,从零联合训练不吃亏,上游算力白送也不赚,接到预训练语言模型上时还会落后(43.5 对 48.6)。第二,encoder-free 的参数效率叙事在同等算力下不成立,视觉缺口要靠专属容量补,加宽主干没用。第三,在意图文请求首 token 延迟的话,把视觉容量挪进主干前几层近乎白赚:VQA 不掉,TTFT 大幅下降,训练不慢(4B 下 encoder 配方反而慢 3%)。
这篇也解释了行业动向:Kimi K3 从零训 encoder 的路线得到支持;以 encoder-free 为卖点发布的 Inkling,二代小模型 Inkling 2 Small 用回了 292M 参数的 encoder。方法论上,lifetime compute 口径加全从零训练,给这类架构争论提供了一个能隔离变量的对照范式。
作者自述的边界:encoder 预训练与多模态训练用同一批图,不能排除在更大外部数据上预训练的现成 encoder 仍有优势;只测了 dense 主干、最大 6.4B,MoE 未碰(作者认为 MoE 专家天然适合承接 in-fusion 容量);训练分辨率 224×224,高分辨率训练与更文本密集的数据留待后续;数据配比按从零 encoder 在 1.7B 上调定,没有为每个配方单独调;交错图文与视频未涉及。
读下来的存疑点:VQA 结论全部落在 Cambrian 系 16 个 benchmark 上,指令微调也用 Cambrian-7M,评测体系单一,换一套 benchmark 是否同样成立没有验证;1.7B 上绝对分数在 44 分档,更强基线与更长训练下的表现靠 scaling 拟合外推;所有对比共享同一数据池,「预训练无用」更准确的说法是「在同一批数据上预训练无用」。