多语言文档理解新基准 MDU:评测 45 个 VLM,最优仅 69 分远未饱和
kalyan_kpl · x · 2026-11-14
一篇新论文发布 MDU(Multilingual Document Understanding)基准,专为评测视觉语言模型的多语言文档理解能力设计:
- 规模:23146 个样例,覆盖 13 类任务、5 种语言(英、法、德、意、西)
- 评测对象:45 个 1.7B235B 参数的开源权重 VLM,外加 1 个商用系统,统一协议对比
关键发现:
- 基准远未饱和:最佳平均分仅 69.0,45 个系统中只有 8 个达到 65 分以上;而且两个最佳成绩来自 27B 模型,而非被测的最大模型——更大并不必然更好。
- 语言间差距不随模型变大而缩小:最强与最弱语言之间的性能鸿沟在规模扩大后依然存在。
「研究」频道最新
- TestPrune:只跑相关回归测试,破解 AI 自动修 bug 的验证瓶颈 — burkov · 2026-11-14
- 幼儿只能从会回应的对象学新词,研究呼吁用响应式 AI 复测 — AnnaCiaunica · 2026-11-14
- Databricks 基准：上下文层让数据 agent 准确率 91% 远超前沿模型 58% — CautiousUse8597 · 2026-11-14
- MIT 教授将谈 AI 科学发现:智能体蜂群自主研究超材料 — ProfBuehlerMIT · 2026-11-14
- Walden 演讲：基座模型快速变强，中训练数据正被商品化 — ZeYanjie · 2026-11-14
- Nathan Lambert 反驳 Dwarkesh：持续学习并非 AI 进步的瓶颈 — natolambert · 2026-11-14