LLaViT:让语言模型更深参与视觉理解的多模态改进

burkov · x · 2026-11-01

文章指出多模态大模型常见设计有一个隐含缺陷:把图像特征当作已经与语言模型输入空间兼容来处理,而实际上图像特征起点处于与文本差异很大的表示空间,语言模型自身需要逐步解读和「翻译」它们。因此改进语言模型内部的视觉处理,可能与改进视觉编码器或连接模块同等重要。作者通过 LLaViT(LLaVA 架构的修改版)验证这一思路:为图像与文本 token 使用分离的注意力投影、让图像 token 之间做不受限制的双向注意力、并从视觉编码器多个深度层抽取图像特征,让语言模型在视觉理解中扮演更主动的角色。