SWE-bench Multimodal v2.0 发布，480 个视觉编程任务开源
斯坦福与 Meta MSL 跨团队合作推出 SWE-bench Multimodal v2.0，包含 480 个新的视觉编程任务，已通过 SWE-bench 仓库开源提供，排行榜开放提交。该基准要求编码智能体不仅处理代码，还要解释截图、图表、录音等视觉资产来诊断和修复仓库中的 bug，是评测 AI 视觉理解与编程结合能力的重要进展。
已确认
- v2.0 共包含 480 个视觉编程任务，通过 SWE-bench 仓库提供，排行榜开放提交
- v1 为闭源导致社区采用率低；v2 改为开源，并清理数据，移除损坏任务和 flaky 测试
- 项目由斯坦福与 Meta MSL 跨团队合作完成
- @OfirPress 指出，与 Verified 和 Multilingua 版本不同，该版本重点强调前端开发任务，大多数任务都需要视觉能力
为什么重要
- @OfirPress 认为它是目前最具挑战性的 SWE-bench 变体，把视觉能力纳入编程评测维度
- @jyangballin 观察到 Anthropic 模型在多模态性能上稳步提升，说明前沿模型在该类任务上仍有明显改进空间
- 开源发布有望提升社区采用率，为多模态编码智能体提供更可靠的横向比较基准
2026-09-01 ~ 2026-09-01 · 5 条相关
一手来源
- SWE-bench Multimodal v2发布：480个视觉编程任务，开源 — jyangballin ·
- SWE-bench 推出多模态评测基准，斯坦福与 Meta 联合开发 — jyangballin ·
- SWE-bench 推出多模态版，侧重前端开发 — OfirPress ·
- SWE-bench Multimodal v2发布：480个视觉编程任务 — jyangballin · 2026-09-01
- 【源头】SWE-bench 推出多模态评测基准，斯坦福与 Meta 联合开发 — jyangballin · 2026-09-01
- 【源头】SWE-bench 推出多模态版，侧重前端开发 — OfirPress · 2026-09-01
另有 2 条近重复转述:jyangballin · xeophon