How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining
Lin Chen, Bolin Ni, Qi Yang, Lan Jiang, Kun Ding, Xiaoran Fan, Hower Yang, Ying Wang, Shiming Xiang
cs.CV
2026-09-28
共享 MoE 梯子对照实测:无编码器模型多模态损失当前更高但降得更快,预计 6×10²¹ FLOPs 追平带 ViT 方案。
主流 MLLM(Qwen3-VL、Gemma 3、LLaVA 这一系)都把预训练视觉编码器(SigLIP 类 ViT)接在 LLM 前面,视觉先验由编码器在海量图文数据上预训练得来。另一条路线把编码器整个删掉,图像 patch 投影后直接进 decoder,从原始像素学视觉表示:Fuyu、EVE、SOLO 验证过可行性,Gemma 4 12B Unified 和 Inkling 已经在产品级模型里这么做。架构更干净,也不受编码器固定分辨率和 token 预算的约束,但没人系统测过:这个简化要多付多少训练算力,差距随规模扩大还是收窄。这篇来自中科院自动化所、国科大和腾讯基础模型部门,用受控缩放律实验补上这块。
设置的说服力在「共享一切、只差编码器」:11 级共享 sparse MoE decoder(总参数 1.1B–44B、激活 71M–2.4B,256 个路由专家选 8 加 1 个共享专家),同一份 1:1 图文数据、同一套优化,视觉 token 粒度两边都是每个覆盖 32×32 像素。编码器方案用约 400M 的 SigLIP 2 ViT 加 ConvPool adapter,全程 causal attention;无编码器方案的 patch 投影改自 Gemma 4 12B Unified,视觉 token 在单张图内 bidirectional attention,其余保持 causal。两边喂同样的像素、送进同样数量的视觉 token,量出来的差异才能归因给编码器本身。
缩放律用 Chinchilla 的 IsoFLOP 方法估:固定预算、只变模型大小,把验证损失对 log 规模拟合二次曲线取顶点;六个预算(文本 2×10¹⁹–2×10²⁰,多模态 10²⁰–10²¹ FLOPs)连成前沿,得到分配律 Mopt ∝ C^a 和损失律 L = E + KC^−γ,两架构在每个目标上共享同一熵底 E。等损失比较用 EGC(算力比)和 EGM(模型规模比),小于 1 表示无编码器一方更费;过训练(固定模型、多喂 k 倍 token)建模为损失律前缀系数的移动,只拟合经验乘子。
文本目标是干净的对照组:两条损失前沿几乎重合(γ 0.0973 对 0.0979),EGC 稳在 0.98,EGM 约 0.99,删编码器基本不伤纯文本。多模态目标上差距真实存在,但在收窄:
| 指标 | 编码器方案 | 无编码器方案 |
| 多模态分配指数 a | 0.464 | 0.570 |
| 多模态损失指数 γ | 0.2998 | 0.3778 |
| 等损失模型规模比 EGM | 1 | ≈0.80(约 1.25 倍 FLOPs/token) |
| 预测 crossover | — | 6.1×10²¹ FLOPs(80% 区间 4.2×10²¹–1.0×10²²) |
参照系:Kimi K2.5 预训练约 10²⁵ FLOPs,crossover 比旗舰预算低约三个数量级。5 倍过训练把 crossover 推迟到 1.2×10²²,EGC 从 0.62 降到 0.52,无编码器模型偏好大 decoder,把算力花在堆 token 上对它收益更小。把视觉 token 的 bidirectional attention 换成纯 causal,分配偏移依旧(a=0.557),不是注意力模式的伪影。分主题差距更大:语言为主的 STEM 已接近追平(EGC 0.71→0.95),Charts 次之(0.51→0.69),感知密集的 Caption(0.18→0.34)、GUI(0.34→0.50)、OCR(0.28→0.57)滞后很多。
机制上有三条证据表明 decoder 在接管编码器的职能。8B 模型训练中,多模态损失先缓慢下降再骤降;骤降前后,第 12 层对视觉 token 的注意力占比从 0.217 升到 0.645,接近编码器方案的水平。损失只算在文本 token 上,视觉 token 早期没信息、被忽略、学得慢,等有用到能吸引注意力,学习才加速。层间表示显示无编码器方案的视觉 token 在浅层就大幅偏离输入,浅层实际成了隐式视觉编码级,文本 token 的轨迹两边几乎一致。MoE 路由上,视觉 token 的负载不均衡(MaxVio)在四个最大规模上持续更高,与一部分专家专职接管视觉吻合;消融还发现 bidirectional attention 的多模态收益随算力扩大,对应 ViT 双向上下文化的职能转移。
下游 11 个 benchmark(3-shot)上无编码器仍全面落后:约 100B token 时 33B 模型平均分 51.2 对 57.7,差距随算力和规模收窄,与损失侧一致。
这篇给「要不要删视觉编码器」提供了第一个定量决策依据。10²¹ FLOPs 量级以下,编码器先验在所有主题上都划算,中小预算没有理由换路线;目标若是旗舰级预训练,拟合律预测编码器优势在 10²² FLOPs 附近耗尽,换到的是更简单统一的架构。对 decoder 设计也有直接提示:现在的 decoder 基本为语言设计,数据显示原生视觉学习能吃到 bidirectional attention、浅层视觉处理、专家专职化的红利,为视觉专门设计的 decoder 可能把 crossover 提前。要说清的是,这是 scaling law 外推的预测,不是在 crossover 尺度上实测到的反超。
作者自己列出的:多模态拟合区间是 10²⁰–10²¹ FLOPs,crossover 外推约 6 倍超出实测范围,依赖幂律延续、ViT 规模固定、熵底只由数据分布决定三条假设;敏感性分析承认外推 crossover 对熵底取值敏感,好在「无编码器降得更快」的指数排序在全部扰动下不变,留一预算复核把 crossover 收在 4.3–9.8×10²¹。
读下来还有几处要留意。ViT 固定约 400M,随 decoder 变大占比持续缩小,全部趋势以这个 regime 为条件,编码器与 decoder 联合扩缩是另一个没碰的问题;数据配比固定 1:1,混合比例的影响没有测;主指标是验证损失,下游 benchmark 在所有实测规模上仍落后,crossover 处的下游表现完全没有数据。持留外推检验(2.5–5 倍)误差约 2% 以内,令人放心,但和 6 倍外推不是一回事。