五大多模态模型评测:AI 看历史插画单体常错、群体分布却近乎完美
_akpiper · x · 2026-11-23
McGill 大学 Andrew Piper 与 EPFL 的 Jiaming Jiang 在 EMNLP 2026 发表论文,用近 2000 幅历史童书插画(1728–1932 年)评测五款多模态模型,对比近 7000 名志愿者 70 万条人工标注。
测试模型:GPT-4.1、Gemini 2.5 Flash、Claude Sonnet 4.5、Qwen3-VL-8B、LLaVA-13B。
三大发现:
- 识别具体内容很强:插画检测准确率 97–98%,场景识别 83–88%;人物、物体、动作等更复杂任务上表现下滑(与人类自身分歧度相关)。
- 系统性低估情绪强度:所有模型最一致的缺陷——Gemini 将 64% 插画判为「平静/较平静」,而人类只有 41%;AI 看到的「戏剧性」明显少于人类。
- 描述文字日益可靠:GPT 与 Gemini 生成的 caption 约 65–72% 完全无幻觉,错误多为个别物体或动作。
最重要发现:单体 vs 群体精度之分——即使模型对单幅插画判断出错,仍能极精确地复现整个图像集合的特征分布(Gemini 与人工标注相关性:人物 0.95、物体 0.98、场景 0.99)。对文化研究而言这意味着:不必要求每张图都判对,只需验证错误不会系统性扭曲整体模式,多模态模型已可成为大规模研究视觉文化的可靠工具。
所属事件:多模态AI解读历史插画:单体常错群体分布准(2 条相关)→
「多模态」频道最新
- 开发者开源 Claude 音乐视频插件:MCP 接视频模型自动出 MV — AIandDesign · 2026-11-23
- Midjourney+Seedance 2.5 经 Higgsfield MCP 串出 AI 微电影《The Wow Lunch》 — azed_ai · 2026-11-22
- 8GB 显存跑 Wan 2.2 图生视频:4 步出片并自动存尾帧 — Equivalent-Ad1959 · 2026-11-22
- 零自定义节点:把模特照片套进参考视频动作的时尚流水线 — lmcdesign · 2026-11-22
- 朋友用开源「老李 Skill」做 20 多部 AI 短剧,红果播放破 5000 万 — vista8 · 2026-11-22
- 点餐菜单做成游戏界面:汉堡是「英雄」,价格单位是 HP — gizakdag · 2026-11-22