OpenAI 自弃 SWE-bench Verified,CACM 文章吁编码榜单须附审计追踪
EhudReiter · x · 2026-11-17
Jatin Ganhotra 一篇被《Communications of the ACM》录用的文章指出,AI 编码排行榜不值得盲目信任。
- OpenAI 于 2024 年 8 月推出 SWE-bench Verified 作为更可靠的编码能力基准,却在 2026 年 2 月 23 日发文称它不再能衡量前沿编码能力——前后仅 18 个月。
- 而这些分数早已成为发布稿、销售演示和高管简报的固定卖点,公司也据其决定采购哪种编码助手。
- 文章点名三类问题:预训练数据污染、基准 ground-truth 标注错误、以及反映模式匹配而非真实能力的分数。
- 作者主张一条规范:没有审计追踪就不要发排行榜——追踪应包含审计结果、测试隐含的隐藏要求、泄露检查,以及在更干净子集上的第二分数;专有内部基准也应同样对待。
- 结论:在披露成为惯例之前,应把榜单分数视为编码能力的临时信号。
「编程与Agent」频道最新
- TS 名师试验"极端约束"法:用严苛 lint 规则给 agent 挖成功黑洞 — mattpocockuk · 2026-11-17
- 用 MCP 编辑 WordPress 像"获得超能力",社区呼吁其进核心 — VeryWellVersed · 2026-11-17
- Hugging Face 开源 PyBot:一群 Agent 写的纯规则聊天机器人 — filterdust · 2026-11-17
- 开源自托管 MCP 端点一次接入 38 种数据库,只读且凭据不出服务器 — Green_Competition_21 · 2026-11-17
- 开源播客工具 SubCast:双语字幕逐句对照,AI 精读一集约一角钱 — vista8 · 2026-11-17
- 「英语本就该是终极编程语言」:一句推文戳中 AI 编码时代神经 — tlakomy · 2026-11-17