「文本混沌」:混合模态检索中无关文本比无关图像更致命,Trident 缓解
Yubo Sun · hf · 2026-10-09
稠密检索器在纯文本/纯图像语料上表现良好,但在混合语料上如何?系统性研究发现:
- 随图像文档被语义等价文本替换,检索性能呈明显 V 形曲线:单模态强,混合时大幅退化
- 无关文本比等量无关图像造成更严重退化,作者称之为「Chaos in the Text」
- 根源是模态偏好:文本表示获得系统性更高的相似度分数,无关文本得以排到相关图像之前
缓解方案 Trident:为每个文档构建文本、图像、图文融合三个视图作为同等正例,通过 Multi-Positive View InfoNCE 联合优化相关性判别与视图平衡。在 CLIP 系和 VLM 系架构上均提升混合模态检索、降低对模态构成的敏感性,并提高平均单模态检索性能。
所属事件:清华等团队揭示混合模态检索「文本混沌」现象(2 条相关)→
「研究」频道最新
- OpenTac 上传 3D 模型 3 秒生成触觉传感器柔性电路,覆盖 93% 面积 — anand_bhattad · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23