FrontierCode 1.1 榜单上线,Opus 5.5 居首仍四成任务失败

Artificial Analysis 上线 Cognition 的 FrontierCode 1.1 私有编码基准排行榜,测试模型能否产出真实开源维护者愿意合并的代码。Claude Opus 5.5 以 52.2% 的合并率居首,但头部模型仍有约四成任务失败。速度方面,DeepSeek V4.1 Flash 每任务约 7 分钟,仅为 Opus 5.5 的四成耗时,帕累托前沿包括 GPT-6 Luna、GPT-6 Astr 等四席;成本上各模型每任务花费从约 $0.09 到 $12 相差百倍,其中 GPT-6 最为节省 token。完整榜单页面还链接了基准介绍与方法论文档。

2026-10-13 ~ 2026-10-13 · 4 条相关