SWE-Bench Pro 被审计出问题
dl_weekly · x · 2026-07-13
OpenAI 的审计发现，SWE-Bench Pro 约 30% 的任务是有问题的，因此撤回了此前把它推荐为 SWE-bench Verified 替代品 的建议。
这说明即便是面向软件工程的高关注基准，也可能存在足以影响结论可靠性的缺陷；对于用 benchmark 选型、对比模型或评估 coding agent 的人来说，这类“基准审计”本身就是重要信号。
「编程与Agent」频道最新
- 博主给 AI agent 配手机号和邮箱，像同事一样派活 — heyshrutimishra · 2026-10-27
- Firecrawl 发布 Alexandria 公司数据库，同时官宣 7500 万美元 B 轮 — devdigest · 2026-10-27
- 14 万粉开发者实测:模糊目标下放养 Agent,十次有九次把代码改糟 — eptwts · 2026-10-27
- LangChain 周三直播:拆解内部每天在用的设计 Agent — LangChain · 2026-10-27
- 生物科技 Agent 系列 Day 8:用审查 Agent 自动把关实验记录本质量 — nlarusstone · 2026-10-27
- Photon 在 iMessage 内上线 Agent 互通信,AI 智能体可互相发短信协作 — alvelda · 2026-10-27