SWE-bench Multimodal 排行榜上线:Claude Opus 5.5 以 70.21% 居首
OfirPress · x · 2026-10-15
Ofir Press 介绍 Vals AI 上线的 SWE-bench Multimodal 排行榜——一个更难、专注「视觉 bug」的 SWE-bench 变体(如地图渲染错误、按钮位置不对)。榜单显示:Claude Opus 5.5 以 70.21% 准确率居首($4.92/次),Claude Fable 5.1(61.25%)和 Claude Sonnet 5.5(58.33%)分列二三;Gemini 4 Argon 56.04%,DeepSeek V4.1 Flash 以 46.46% 准确率、每次仅 $0.23 的成本成性价比亮点。即便在这个相对简单的基准上,模型仍有很大提升空间。
所属事件:SWE-bench Multimodal 排行榜发布,Claude Opus 5.5 居首(4 条相关)→
「模型」频道最新
- Cloudflare 决策模型 Clef 上架 Merge Gateway,中位延迟 39ms — shensi · 2026-10-15
- Google 评估称 Gemini 4 Argon 无法排除失控阈值 TCL — TheZvi · 2026-10-15
- 实测 Indra OCR:准确率属实,但「比 Tesseract 快 17 倍」实为约 3 倍 — TheOyinbooke · 2026-10-15
- Opus 5.5 囚徒困境实验:意大利语合作率 72%,日语仅 5% — MysteriousAvocado580 · 2026-10-15
- Google 与 Meta 新模型齐发,前沿 AI 双寡头格局现裂痕 — danshipper · 2026-10-15
- GPT-6 Astra 破解 49/50 未发表物理难题,还纠出顶级物理学家算错 — 141_1337 · 2026-10-15