多模态模型视觉推理失败根因:『参照缺口』而非感知缺陷
Guizhen Chen · hf · 2026-11-03
论文提出多模态大模型在计数等多步视觉推理上失败并非感知问题，而是参照缺口（reference gap）：模型未能把语言绑定到相关视觉实体、区域或位置。受 visual routines 理论启发，作者构建 ReGap-Bench（五个成对视觉推理任务，场景与问题固定、仅参照方式变化）测试编号等外部参照的作用。
- 任务匹配的参照可将准确率提升最多 25%；不匹配的参照收益甚微甚至损害表现
- 结论：参照缺口是与视觉感知不同的瓶颈，构建任务适配的视觉参照是关键
「多模态」频道最新
- 用 Seedance 2.5 生成「龙的善意」短片 — SimplyAnnisa · 2026-11-03
- Sentry CEO 晒 AI 生成皮卡丘精灵图 9 种风格对比 — zeeg · 2026-11-03
- Reddit 爆火 AI 视频:水晶像花一样生长的外星奇景 — the-quiet-unreal · 2026-11-03
- 45 秒 AI 广告短片《Frenzy in the Air》:荒诞升级式叙事 — LeadingPrestigious52 · 2026-11-03
- Liquid AI 发布 LFM3 六款小模型，2B 视觉版 iPhone 离线实时看懂摄像头 — JosephJacks_ · 2026-11-03
- 作者用 Claude 音乐视频 skill 搭 Magnific MCP 产出音乐视频 — AIandDesign · 2026-11-03