深入解析 VLM 模态 Gap 与对比学习机制
gabriberton · x · 2026-08-19
解释视觉语言模型(VLM)中的模态 Gap 现象。在随机初始化的 Transformer 中，图像嵌入往往聚集在一起。CLIP 训练试图拉近正样本对、推开负样本对，但在实践中，推开的力量可能过强，导致模态 Gap 无法闭合，这种现象在多模态模型中普遍存在。
所属事件:VLM 模态 Gap 全解析：成因、高维几何与特性之辩(7 条相关)→
「多模态」频道最新
- 用户分享 Kling AI Omni 3 的趣味生成效果 — LudovicCreator · 2026-08-20
- VGGT-Align：用场景几何不变量锚定解决长序列 3D 重建尺度漂移 — zhenjun_zhao · 2026-08-19
- SplatGuide：一份 3DGS 重建当三种先验，免位姿新视角合成达 SOTA — zhenjun_zhao · 2026-08-19
- UniQuery4R：单次编码整段视频，查询式解码统一 4D 场景重建 — zhenjun_zhao · 2026-08-19
- GeoWeaver：几何先验模型加测试时适配，修正长视频 3D 重建漂移 — zhenjun_zhao · 2026-08-19
- ComfyUI-PETSCII 插件：把图像视频转成 C64 字符画 — PurzBeats · 2026-08-19