Artificial Analysis 开放编码 Agent 榜单与评测方法学全文
ArtificialAnlys · x · 2026-09-19
Artificial Analysis 开放了编码 Agent 基准的完整结果页面与评测方法学文档。其 Coding Agent Index v1.5 由三个基准组成:DeepSWE v1.1(113 个软件工程任务,Datacurve 出品)、Terminal-Bench 4.0(66 个终端智能体任务,Laude Institute)和 SWE-Atlas-QnA(124 个技术问答任务,Scale AI)。
每个任务取三次尝试的 pass@1 平均分,三个基准等权合成 Index。榜单同时提供单任务耗时、单任务 API 成本等指标,并提醒相似总分的项目在不同仓库任务、终端工作流与 rubric 评测上仍可能有不同强弱。
所属事件:编码 Agent 榜单引入安全拒答指标，Claude 回退率最高 8.8%(2 条相关)→
「编程与Agent」频道最新
- 马斯克证实 Grok Bot 成本难以为继，Hermes 一键迁移抢用户 — Teknium · 2026-11-04
- 开源 agent Cindy 发布：跨设备共享任务、文件与模型 — yangyi · 2026-11-04
- 网友用多 Agent 循环工作流筛出 1132 个 B 站神级视频建站 — huangyun_122 · 2026-11-04
- 平面设计师用 Claude Code 两个月做出 NASA 数据驱动的 3D 太阳系 — Shevei1342 · 2026-11-04
- 不写代码：用 Claude 搭出助理、会计等 5 个虚拟员工 — evielync · 2026-11-04
- Replit 运营负责人自建 AI 应用：自动分级客服工单并路由处理流程 — amasad · 2026-11-04