OpenAI 指出 SWE-Bench Pro 编码评测存在缺陷
OpenAI News · rss · 2026-07-08
OpenAI 发布了一项新分析，指出当前流行的 AI 编码基准测试 SWE-Bench Pro 存在可靠性与准确性问题。 该分析揭示了在利用此类基准测试评估 AI 模型编码能力时，可能会混入干扰信号，从而影响评估结果的有效性。这引发了业界对于如何更科学、准确地衡量 AI 模型真实编程能力的反思。
OpenAI News · rss · 2026-07-08
OpenAI 发布了一项新分析，指出当前流行的 AI 编码基准测试 SWE-Bench Pro 存在可靠性与准确性问题。 该分析揭示了在利用此类基准测试评估 AI 模型编码能力时，可能会混入干扰信号，从而影响评估结果的有效性。这引发了业界对于如何更科学、准确地衡量 AI 模型真实编程能力的反思。