Artificial Analysis 发布编码智能体指数 v2.0，各配置分数普遍下调
ArtificialAnlys · x · 2026-10-23
Artificial Analysis 推出 Coding Agent Index v2.0，按基准测试打分，并新增单任务成本与 token 用量维度，方法论与版本历史同步公开。
对比 v1.5，在两个版本都测过的 21 种配置中，指数均分从 54.8 降至 47.4，21 项里有 20 项下滑。分数下移主要来自新评判模型 FrontierCode v1.1：同一批配置在它上面平均只拿 45.1%，而在 DeepSWE v1.1 上为 65.6%；更严格的 SWE-At… 评判也带来小幅下拉。
配套的 SWE-Atlas-QnA-AA 数据集与评判配置已开源在 Hugging Face。
「编程与Agent」频道最新
- 别再堆规则文件：直接让编码 Agent 读《Clean Code》 — Al_Grigor · 2026-10-23
- 游戏开发者倒戈：用了一年 GPT 后称 Opus 5.5 写码更顺手 — rudrank · 2026-10-23
- 把可验证代码从 1% 缩到全集：形式验证的现实困境 — jd_pressman · 2026-10-23
- 用 ChatGPT Space 搭出完整 GTD 系统，自动维护任务清单 — prd_008 · 2026-10-23
- GTA V 全部 NPC 实时开口说话:克隆声音保持人设,1 秒内响应还能执行指令 — Prime-Paradox · 2026-10-23
- 用 Claude 证明内存安全等价,一次性挖出大量 PHP 深层 bug — jd_pressman · 2026-10-23