Mercor 长程工程基准 GPT-6.2 Astra 夺魁,得分 67.2% 领先 Fable 5.2
morqon · x · 2026-11-18
Mercor 在 GPT-6.2 发布前实测了新模型,并公开其新基准 OpenWorldEngineer 的排行:GPT-6.2 Astra 以 67.2% 均分登顶,超过 Fable 5.2(54.6%)、GPT-6 Astra(44.2%)、Opus 5.5(41.6%)和 GPT-6.1 Sol(41.2%)。
该基准的特点是超长程真实工程任务:共 26 个任务、覆盖软件开发、工程、机器学习、科学四个领域,单次尝试耗时 4–18 小时、消耗约 1.41 亿 token。每个任务由领域博士或 10 年以上经验的专家构建,要求 agent 在公开最佳方法之上做出可衡量的实质改进;评分将未改动基线记为 0%、任务上限记为 100%,最终评测在 agent 未见过的保留案例上进行。Astra 在全部四个领域均为最高分(工程 83.7%、软件开发 65.9%、ML 62.9%、科学 60.4%)。基准已开源。
「模型」频道最新
- GPT-6.2 Astra 据称登顶 OpenAI ECI,趋势线年增 15.6 分 — ChrisGPT · 2026-11-18
- OpenAI 被质疑早知测试者不满仍发布 GPT-6.2 Astra 与 Sol — Angaisb_ · 2026-11-18
- 微软 MAI-Image-2.7 转正,登 Image Arena 三榜第二 — arena · 2026-11-18
- Artificial Analysis:微软 Decision-1.1 每百万任务成本 140 美元 — ArtificialAnlys · 2026-11-18
- GPT-6.2 双子亮相 Vals Index:分列第7第9,Sol 单任务成本仅三分之一 — rickasaurus · 2026-11-18
- 微软发布 Decision-1.1 决策模型:AA 决策指数升至 68,速度快 2 倍 — ArtificialAnlys · 2026-11-18