Cognition FrontierCode 1.1 榜单:Opus 5.5 得 52%,头部模型仍四成任务失败
ArtificialAnlys · x · 2026-10-13
Artificial Analysis 上线 Cognition 的 FrontierCode 1.1 私有编码基准排行榜,测试模型能否产出「真实开源维护者愿意合并」的代码改动:
基准设计
- 与开源维护者合作建集,每个任务耗时 40+ 小时;任务要求在真实仓库上完成改动,同时考察单元测试与维护者视角的质量标准;
- 100 个私有任务防污染,每题三次尝试,用 Stirrup 参考框架统一跑,25% 任务失败任一 blocking 检查即 0 分;
- 除测试外还惩罚过度改动、大 diff、越界改文件、加无用测试等行为。
关键结果
- Claude Opus 5.5(max+fallback)52.2% 居首,GPT-6.1 Sol 49.1%、Claude Fable 5.1 49.0%;前九名模型挤在 43%–52% 之间;
- 有 9 个任务没有任何模型在任何尝试中通过;
- 开源权重最佳是 MiMo-V2.6-Pro(45.8%),其后 DeepSeek V4.1 Flash、Kimi K3 均 44%;
- 性价比之王是 GPT-6.1 Sol:每任务 $0.81 得 49%,与 Anthropic 旗舰相近但成本不足其十分之一(Opus 5.5 为 $10.15/任务)。
所属事件:FrontierCode 1.1 榜单上线,Opus 5.5 居首仍四成任务失败(4 条相关)→
「编程与Agent」频道最新
- 移动端管理大量 AI Agent,开发者工具 Intent 正式上线 — Wattenberger · 2026-10-13
- 让 Agent 自己爬出坑:把修复步骤写进 API 报错响应 — SucceededMind · 2026-10-13
- Grok 交易机器人乱卖资产,作者紧急切断其钱包权限 — nima_owji · 2026-10-13
- Ramp CTO 将开讲：内部编码 agent 承担约 3/4 已合并 PR — graceisford · 2026-10-13
- Meta Muse 接入 Merge for Workforce,企业统一管控员工 AI agent — shensi · 2026-10-13
- 15 分钟自建 Jev 式决策模型：模型简单，数据和打分才是关键 — Arindam_1729 · 2026-10-13