SWE-bench 尾部仍有 29 个 bug 无模型能修复
PawelHuryn · x · 2026-10-13
Pawel Huryn 在讨论 benchmark 选题时透露：纵观整个 benchmark 历史的所有 run，仍然有 29 个 bug 从未被任何模型修复过。他赞同筛选「老模型都搞不定的 105 道题」的做法——简单 bug 会让所有模型分数挤在一起，只有尾部难题才真正拉开排名差距。
所属事件:Pawel Huryn 实测 Muse Wonder 1.0:GPT-6 Astra 得分 45 居首(5 条相关)→
「模型」频道最新
- Opus 5 月结基准满分碾压会计师:成本仅人类 2%,快 2-12 倍 — McDonaghMatthew · 2026-10-14
- 用 Opus 5.5 训练出 8M 小模型实验收官:能泛化但还不够好 — Angaisb_ · 2026-10-14
- Gemini 4 Argon 助攻科学：量子纠错吞吐近翻倍、设计新型酶 — haider1 · 2026-10-14
- Gemini 4 Argon 上线 Vercel AI Gateway,12 月前五折优惠 — steren · 2026-10-14
- Every 实测 Gemini 4 Argon:谷歌重回前沿阵营 — every · 2026-10-14
- Xbow 实测:AI agent 六天自主开发漏洞利用,API 花费约 4 万美元 — rez0__ · 2026-10-14