SWE-bench Science 发布:最强智能体通过率也不到 50%
_akhaliq · x · 2026-08-21
新基准 SWE-bench Science 面向科学软件工程,包含 119 个任务,覆盖 98 个代码仓库和 20 个领域。结果显示即便是最强的智能体——使用 Opus-5 的 Claude Code——pass@1 也不到 50%,说明科学计算代码对现有编码智能体仍是明显短板。
所属事件:SWE-bench Science 发布，最强智能体通过率不足 50%(3 条相关)→
「编程与Agent」频道最新
- Claude 按消息计数实为按 token 计,10 招让额度撑更久 — Aiden_Tech_Ai · 2026-10-16
- 收购 20 年老软件公司后,如何让老工程师转向 AI 原生开发 — alex_verem · 2026-10-16
- Gemini 4 Argon 上线 Antigravity,Pro 订阅独享独立周配额 — rseroter · 2026-10-16
- LangChain 重做 Human-in-the-loop:工具调用中断支持类型化 Schema — Hacubu · 2026-10-16
- 机器人全面换用前沿 LLM 控制:客户现场自主组装 1.5 小时零失误 — ihorbeaver · 2026-10-16
- 开发者断言:Agent 的未来押注 Node 与 JavaScript — verrsane · 2026-10-16