SWE-Bench Pro 被审计出问题
dl_weekly · x · 2026-07-13
OpenAI 的审计发现，**SWE-Bench Pro 约 30% 的任务是有问题的**，因此撤回了此前把它推荐为 **SWE-bench Verified 替代品** 的建议。 这说明即便是面向软件工程的高关注基准，也可能存在足以影响结论可靠性的缺陷；对于用 benchmark 选型、对比模型或评估 coding agent 的人来说，这类“基准审计”本身就是重要信号。
dl_weekly · x · 2026-07-13
OpenAI 的审计发现，**SWE-Bench Pro 约 30% 的任务是有问题的**，因此撤回了此前把它推荐为 **SWE-bench Verified 替代品** 的建议。 这说明即便是面向软件工程的高关注基准，也可能存在足以影响结论可靠性的缺陷；对于用 benchmark 选型、对比模型或评估 coding agent 的人来说，这类“基准审计”本身就是重要信号。