SWE-bench 作者谈 benchmark 设计:上线时模型应接近 0 分
OfirPress · x · 2026-11-21
SWE-bench 共同作者 Ofir Press 在 Kaggle 的 Evaluated 播客中总结了新 benchmark 构建者的常见错误:
- 起点太简单:如果 benchmark 上线时模型准确率已达 50%,目标几乎已被完成;最好模型发布首日接近 0 分,留出攀升空间。SWE-bench 上线时最好的模型只能解决 2% 的 GitHub 真实 bug 任务,头三四个月被认为太难甚至不可能,直到 Cognition 在 Devin 发布中引用它才引发竞赛,如今模型已能解决大部分任务。
- 选没人关心的任务:应选自然任务,即大家真正希望模型做好的事。
他建议的任务设计标准是「易于解释、易于评判、但执行起来极难」。
「模型」频道最新
- humans& 开放 Persimmon Pro/Ultra:8 轮图灵测试得分从 18% 升至 48% — gharik · 2026-11-21
- repligate:模型惧于展示高水平战略思考,RSI 研究存在能力积压 — repligate · 2026-11-21
- 开发者看好 looping 模型:让手机上的开源小模型媲美 Opus — scaling01 · 2026-11-21
- 递归自我改进基准与 KradleBench:AI 评测正在告别静态测试 — typewriters · 2026-11-21
- KOL 晒 Google AI Ultra 订阅页:Gemini 额度可达 Pro 五倍 — kimmonismus · 2026-11-21
- Claude「证明黎曼猜想」遭群嘲:25万页Lean代码无人审,Anthropic数学家自认 slop — GaryMarcus · 2026-11-21