新论文揭示 VLM 模态鸿沟根源：文本 token 语义密度远低于视觉
_reachsumit · x · 2026-11-11
arXiv 论文《Process then Retrieve: Investigating the Origins of the Modality Gap in Vision-Language Models》研究了视觉-语言模型中模态鸿沟（modality gap）的成因。
- 核心发现：文本 token 进入模型时的语义密度远低于视觉 token，导致模型早期层先集中处理文本表征，再将其与视觉信息结合。
- 机制分析：把视觉 token 位置替换成语义上最接近的文本 token 后，早期层对这些位置的注意力显著增强，验证了上述结论。
- 意义：为弥合模态鸿沟、改进 VLM 多模态推理架构提供了机制层面的基础。
「多模态」频道最新
- 日推用户让 Fable 5.2 自由发挥，成片「次元不同」引热议 — FinanceYF5 · 2026-11-11
- 只给 Fable 5.2 一句话，它自己拍出的展示视频质量惊人 — FinanceYF5 · 2026-11-11
- Claude MV skill + Fable 5.2 + Dreamina:玩家自制 MV 冲刺 Claudia 大赛 — AIandDesign · 2026-11-11
- TRIAD 基准发布:多模态检索在层级、约束与多轮状态上全军覆没 — _reachsumit · 2026-11-11
- Fable 5.2 一句话生成短片《936》：一个可能改变你余生的视频 — yuwen_lu_ · 2026-11-11
- Fable 5.2 生成城市雪夜图曝光,笔触全部由模型完成 — yuwen_lu_ · 2026-11-11