研究揭示混合模态检索「文本混沌」:无关文本比图像更易干扰排序
_reachsumit · x · 2026-10-09
论文 2610.11816系统考察了稠密检索器在混合模态语料上的表现。
- 关键发现:随着图像文档被语义对应的文本替换,检索性能呈明显 V 形曲线——单模态语料上表现好,模态混合时显著退化
- 「Chaos in the Text」现象:同等数量的无关文本比无关图像造成更严重退化,文本表示获得系统性更高的相似度分数,使无关文本排到相关图像之前
- 修复方案 Trident:为每篇文档构建文本、图像、融合三视角作为同等正例,通过 Multi-Positive View InfoNCE 联合优化相关性判别与视角平衡
- 在基于 CLIP 和 VLM 的架构上均改善混合模态检索并缓解模态偏好
所属事件:清华等团队揭示混合模态检索「文本混沌」现象(2 条相关)→
「多模态」频道最新
- 蚂蚁 Ming-3.0-tts 仅 0.5B 参数跻身 TTS 前三，MIT 开源 — ArtificialAnlys · 2026-10-23
- Suno 官方盘点五个鲜为人知的隐藏功能 — suno · 2026-10-23
- Meshy 联动 Hermes：$1 买一个月 Pro 含 API 额度 — Teknium · 2026-10-23
- Customuse 推出几何感知 Smart Mesh AI，一键给角色换装 — SimplyAnnisa · 2026-10-23
- AI 生成电影海报《The Chase》：狼、飞机、肌肉车同框的疯狂追逐 — Aggravating-Sir-115 · 2026-10-23
- 仅 11.84MB 的可操控 TTS 发布：WER 不变，CPU 上 19 倍实时 — Working_Hat5120 · 2026-10-23