多模态模型盲点基准发布
epfl-ch · hf · 2026-07-15
Blind-Spots-Bench 旨在评估多模态模型的“盲点”任务：那些人类觉得很简单、但现有模型却常常失败的题目。 ## 他们做了什么 - 收集并清洗了来自 AI 课程学生的原始问题，整理成 **235** 个样本 - 为数据集补充了结构化参考答案，并设计了适配该数据集的任务分类体系 - 构建了自动评分流水线，覆盖语言模型、视觉语言模型和图像生成模型，既包括开源权重也包括闭源模型 ## 主要发现 - 闭源前沿模型整体明显强于开源模型，差距大约可达 **10%**，即使它们在传统 benchmark 上成绩接近 - 不存在一个模型能在所有任务类型上都占优 - 仍有一些任务对所有被测模型都很难 作者的结论是：这类“盲点”基准可以更好地诊断当前模型的具体弱项，而不是只看常规 benchmark 分数。