Artificial Analysis 编码代理指数 v2.0 发布:Claude Opus 5.5 以 61.7 居首
ArtificialAnlys · x · 2026-10-23
Artificial Analysis 发布 Coding Agent Index v2.0,评估模型与 agent 框架组合,共 290 个任务,覆盖软件工程、终端使用与仓库问答三大基准等权。
主要变化
- 用 Cognition 的 FrontierCode v1.1 替换 DeepSWE:100 个真实开源仓库任务、私有测试集,按「维护者是否会合并」评分,访问解题材料的尝试判零分。
- SWE-Atlas-QnA 评分修订为 -AA 版:124 个任务不变,重写 1306 条评分细则中的 127 条,改用 GPT-6 Luna (xhigh) 五票评审,数据集与评审配置已发布在 Hugging Face。
关键结果
- Claude Code + Claude Opus 5.5 (max) 以 61.7 领跑,其后为 Sonnet 5.5 (59.3)、Muse Code + Muse Wonder Full (58.9)。
- FrontierCode 上 Opus 5.5 得 56.0%,领先 Codex + DeepSeek V4.1 Flash (52.6%);15/24 配置集中在 43%–49% 区间。
- 新评分更严格:21 个两版都测过的配置平均降 1.7 分,最大降幅 7 分。
- 成本前沿四配置:DeepSeek V4.1 Flash 47.3 分/任务 $0.39、GPT-6.1 Sol 54.1/$1.50、GPT-6 Astra 54.7/$7.04、Opus 5.5 61.7/$11.42(按 API token 计价)。
「编程与Agent」频道最新
- 别再堆规则文件:直接让编码 Agent 读《Clean Code》 — Al_Grigor · 2026-10-23
- 游戏开发者倒戈:用了一年 GPT 后称 Opus 5.5 写码更顺手 — rudrank · 2026-10-23
- 把可验证代码从 1% 缩到全集:形式验证的现实困境 — jd_pressman · 2026-10-23
- 用 ChatGPT Space 搭出完整 GTD 系统,自动维护任务清单 — prd_008 · 2026-10-23
- GTA V 全部 NPC 实时开口说话:克隆声音保持人设,1 秒内响应还能执行指令 — Prime-Paradox · 2026-10-23
- 用 Claude 证明内存安全等价,一次性挖出大量 PHP 深层 bug — jd_pressman · 2026-10-23