清华 KBMR：按语义实体嵌入图像，提升知识型视觉问答检索
Tsinghua · hf · 2026-09-03
清华大学发布 KBMR 方法，针对知识型视觉问答（KB-VQA）中的检索问题提出新思路。
- 传统检索按视觉相似度匹配图片，容易因表面外观相近而检索到错误实体；KBMR 改用多模态语言模型将图像按「语义身份」嵌入，即 embedding 对齐的是实体本身而非外观。
- 训练上采用连续蒸馏（continuous distillation）与难负样本采样（hard negative sampling），让检索结果更贴合问题所需的知识实体。
- 官方称该方法同时改善了检索质量与下游视觉问答的准确率。
「多模态」频道最新
- 这张绝美星云照是 AI 处理的:Argon 从 JWST 原始数据生成 W51A — fofrAI · 2026-10-21
- Cornell 新作「Purify Before You Align」:先滤掉可预测信息,diffusion 对齐更有效 — volokuleshov · 2026-10-21
- Mistral 发布 Voxtral 3：支持 50+ 语言的实时语音 agent 全栈 — The Decoder · 2026-10-21
- 虚拟网红 JataJett 完整人设表曝光:从三视图到动作模式一站打包 — CurieuxExplorer · 2026-10-21
- 全 AI 流水线打造「巴黎半价城市游」讽刺短片 — DavidmComfort · 2026-10-21
- AI Agent 剧集《The Sage》更到第 8 集:全片用 Invideo Agent 制作 — Kavanthekid · 2026-10-21