ValsAI 上线 SWE-bench Multimodal 排行榜,聚焦视觉类软件 bug
OfirPress · x · 2026-10-15
OfirPress(论文作者)介绍 ValsAI 为 SWE-bench Multimodal 上线了排行榜。这是 SWE-bench 的进阶挑战版本,专注视觉类 bug——比如地图渲染不正确、按钮出现在错误位置等。
- 即使在这个相对较简单的变体上,模型表现仍有很大提升空间
- 该基准由 jyangballin 和 closji 主导,近期已完成开源
- SWE-bench Multimodal v2 现已完全开源,含 480 个任务可本地评测
所属事件:SWE-bench Multimodal 排行榜发布,Claude Opus 5.5 居首(4 条相关)→
「模型」频道最新
- RISE 红队算法显示新一代图像模型更易越狱，成功率翻倍以上 — haider1 · 2026-10-15
- Cloudflare 决策模型 Clef 上架 Merge Gateway，中位延迟 39ms — shensi · 2026-10-15
- Google 评估称 Gemini 4 Argon 无法排除失控阈值 TCL — TheZvi · 2026-10-15
- 实测 Indra OCR:准确率属实，但「比 Tesseract 快 17 倍」实为约 3 倍 — TheOyinbooke · 2026-10-15
- Google 与 Meta 新模型齐发,前沿 AI 双寡头格局现裂痕 — danshipper · 2026-10-15
- GPT-6 Astra 破解 49/50 未发表物理难题，还纠出顶级物理学家算错 — 141_1337 · 2026-10-15