实测揭穿 SWE-bench Multimodal v2 并非真多模态

博主 dejavucoder 发布博文《SWE-bench Multimodal v2 is not multimodal》，指出该基准存在严重设计缺陷。开发者在 Prime Intellect 驻场期间为项目建基线时实测发现，GPT-6 Luna（xhigh）在该基准上无论使用原图、OCR 输出还是直接删掉图片，成绩几乎不变，说明模型并未真正利用视觉信息，该基准实际不具备多模态性，引发社区对多模态评测有效性的讨论。

2026-10-21 ~ 2026-10-21 · 3 条相关

• SWE-bench Multimodal v2 被实测拆穿:删掉图片成绩几乎不变 — dejavucoder · 2026-10-21
• 实测去掉图片照样跑分：SWE-bench Multimodal v2 被指并非多模态 — dejavucoder · 2026-10-21
• 博主发文质疑：SWE-bench Multimodal v2 根本不算多模态 — dejavucoder · 2026-10-21