MInfoVisQA:24 语言并行基准曝多模态模型跨语言鲁棒性差距
MBZUAI · hf · 2026-11-19
MBZUAI、Georgia Tech、东京大学与伊利诺伊大学联合发布 MInfoVisQA 基准,聚焦信息密集型视觉问答(图表、信息图等)。基准包含 8960 个 QA 配置,由 128 个种子实例跨 24 种语言并行构造,通过把数值-结构数据与文本解耦、程序化同步翻译标签,实现种子匹配的语言平行视觉与问答对。评测设两种设定:语言对齐 QA(LQA)与跨语言 QA(XQA),共评测 25 个多模态大模型,发现模型在表面语言切换时存在显著的理解鲁棒性差距。
「研究」频道最新
- tla-kit:把 TLA+ 全套验证工具装进一个可复现容器,附 14 个工具的 MCP server — Scottie-2222 · 2026-11-19
- 免费大学级教材:从数学原理拆解 Transformer 注意力与 token 动力学 — CatAstro_Piyush · 2026-11-19
- Anshul Kundaje 补充:科研产出应像代码一样版本控制,而非一锤定音的最终版 — anshulkundaje · 2026-11-19
- 港科大等发布 META-Robot:56 次真机试抓成功 44 次,可自检自修复 — jiqizhixin · 2026-11-19
- Raschka 补全位置编码长文附录:新增 YaRN 与 ALiBi 详解 — rasbt · 2026-11-19
- 蚂蚁灵波具身挑战赛收官:同一VLA基座,15队48小时真机攻坚 — 机器之心 · 2026-11-19