SWE-bench Multimodal v2 被实测拆穿:删掉图片成绩几乎不变
dejavucoder · x · 2026-10-21
开发者在 Prime Intellect 驻场期间为项目建基线时发现:GPT-6 Luna(xhigh)在 SWE-bench Multimodal v2 上无论用原图、OCR 输出还是完全不给图,成绩几乎一样。作者深入核查后写下博客,结论是这个「多模态」基准实际并不依赖图像。
核心发现:
- 去掉图片后分数几乎不变:GPT-6 Luna xhigh 全量 480 题,有图 36.9% vs 无图 37.1%(+0.2);Sonnet 5.5 max 在 60 题子集上 35.0% vs 40.0%(+5.0,反而更高)
- 大多数任务仅凭 issue 文本和代码即可解决,图片内容基本是文字的重复
- 隐藏测试很少检查只存在于图片中的细节(如设计稿的颜色、间距),这解释了为何删图影响甚微
- 对照实验 MMMU-Pro 显示同样的模型删图后准确率暴跌 42.8 个点(79.7%→36.9%),说明模型视觉能力本身没问题,问题出在基准设计
作者据此质疑 SWE-bench Multimodal v2 的多模态含金量。
所属事件:实测删掉图片成绩不变，SWE-bench Multimodal v2 被指非多模态(3 条相关)→
「模型」频道最新
- Notion 揭秘模型路由器 Auto：复用 Elo 评测，成本比单个旗舰模型低 62%-93% — ivanhzhao · 2026-10-21
- DeepSeek V4.1 Flash 等多款开源模型上架 Hugging Face 推理端点 — SergioPaniego · 2026-10-21
- inclusionAI 开源 Ling-3.0 UBTree 投机解码草稿模型 — jacek2023 · 2026-10-21
- Machine Witness：让七个AI模型每周点评AI新闻的网站 — kavanutz · 2026-10-21
- Gemini 聊天记忆有三大盲区，一个粘贴 prompt 搞定精准召回 — Ok_Negotiation_2587 · 2026-10-21
- 小模型 Jev 分类与 Opus 判断一致率达 95%,可用人工标注再微调 prompt — honnibal · 2026-10-21