实测去掉图片照样跑分：SWE-bench Multimodal v2 被指并非多模态
dejavucoder · x · 2026-10-21
博主 dejavucoder 发布博文《SWE-bench Multimodal v2 is not multimodal》,指出该基准存在严重设计缺陷。
验证方法本身很有启发：构建多模态评测的一个好启发式是「把图片去掉再跑一遍」——如果模型不看图也能取得相近成绩，说明图像信息并非必需。结果 SWE-bench Multimodal v2 在完全不给图像的情况下表现几乎不变，证明它实际上并不真正依赖多模态输入。
xeophon 等评测圈人士转发扩散，呼吁关注 LLM 评测与数据质量的人重视这一发现。
所属事件:实测质疑：SWE-bench Multimodal v2 并非真正多模态(5 条相关)→
「研究」频道最新
- Cohere 工程副总裁 PyTorchCon 演讲:开放科学如何支撑可信基础模型 — PyTorch · 2026-10-22
- 四个 Gemini 智能体 27 小时通关《我的世界》恶龙，死亡 605 次才是重点 — krishnan · 2026-10-22
- Ropedia W0：从 1 万小时人类第一视角视频学会跨本体操作的世界模型 — _akhaliq · 2026-10-22
- 斯坦福讲座聚焦肿瘤 AI，主讲人系 Nature 自主医疗智能体论文资深作者 — jonc101x · 2026-10-22
- 多伦多大学团队提出 AREa:自适应感受野注意力解锁高分辨率图像生成 — CSProfKGD · 2026-10-22
- WIRED 实测 Recursive Flint:递归自我改进造出的模型「吓人地好」 — cong_ml · 2026-10-22