研究显示无编码器多模态 LLM 会在早期层自学出编码器特性

rdesh26 · x · 2026-11-14

一项源于 JSALT 合作的研究发现，无编码器（encoder-free）多模态 LLM（如 Gemma-4-12B 和 Inkling-Small）会在早期层重新学习出类似视觉编码器的表示特性：1）表示对跨模态上下文不变；2）各层表示与自监督编码器特征相似。由此推论，把编码器层融入 LLM 主干并为特定模态保留（作者 Ellis 称之为 "in-fusion"）可以兼得强性能与无编码器架构。引用的消融实验显示：同样 0.4B 参数、同样层数下，加宽共享 FFN 得 40.1，为所有 token 加分支得 42.3，将分支设为视觉专用得 45.0，超过独立编码器的 44.4——视觉专用分支是关键。