SWE-Bench Pro 被审计出问题
dl_weekly · x · 2026-07-13
OpenAI 的审计发现，SWE-Bench Pro 约 30% 的任务是有问题的，因此撤回了此前把它推荐为 SWE-bench Verified 替代品 的建议。
这说明即便是面向软件工程的高关注基准，也可能存在足以影响结论可靠性的缺陷；对于用 benchmark 选型、对比模型或评估 coding agent 的人来说，这类“基准审计”本身就是重要信号。
「编程与Agent」频道最新
- 开发者用 GPT-6 Astra 搭配 Hyper3D Rodin 做出交互式 3D 产品展示 — nikola_mr64990 · 2026-09-11
- Codex 用户实测：Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11