SWE-bench 评测集被指存在最高 10% 无效样本

近期对 SWE Verified（SWE-bench）基准测试的重新审计指出，该评测集仍存在不容忽视的数据质量问题。人工复核头部提交和难题样本后发现，其中可能包含 5% 到 10% 的无效样本。这些坏样本带来的噪声足以影响模型榜单解读的准确性。

2026-07-25 ~ 2026-07-25 · 2 条相关

• SWE Verified 被审计，样本无效率或仍有 5% 到 10% — xeophon · 2026-07-25
• SWE Verified 评测噪声再被指出，或有 5% 到 10% 无效样本 — xeophon · 2026-07-25