Mercor 发布 OWE-Bench:26 个真实工程项目考倒编码 Agent
ben_burtenshaw · x · 2026-11-13
Mercor 推出长程工程基准 OWE-Bench：26 个由硕士/博士级领域专家设计的完整工程项目，覆盖 GPU kernel、CAD、飞行器设计等 4 个领域，单次尝试 4–18 小时、平均消耗 1.24 亿 token，测试 Agent 端到端完成真实工程的能力。
榜单前三（26 任务、每模型 8 次尝试的归一化均分）：
- Claude Fable 5.2：54.6%
- GPT-6 Astra：44.2%
- Claude Opus 5.5：41.6%
其他值得注意的结果：GPT-6.1 Sol 41.2%、Claude Sonnet 5.5 39.0%、Gemini 4 Carbon 32.8%；Kimi K3.1 仅 13.6%、DeepSeek V4.1 Flash 12.4%、GLM-5.3 11.8%，Grok 4.7 只有 7.0%。
基准完全开源：16 个任务提供公开 grader 可自行运行评分，10 个任务 grader 保留私有（含基于私有飞行模拟器的 Design/Build/Fly Aircraft）；数据集发布在 Hugging Face，任务以 Harbor 格式托管在 GitHub。
「编程与Agent」频道最新
- Agent Canvas 移植到任意 OCaml 代码库:画布式模块图加 Agent 聊天改码 — neurocy · 2026-11-13
- Agent 支付创业公司 AgentCard 融资 800 万美元,一个 API 让 Agent 买遍 5026 家商店 — yenkel · 2026-11-13
- Keenable 1.0 发布：AI 搜索基准登顶，比 Perplexity 快 3 倍 — Scobleizer · 2026-11-13
- 一天+几美元 GPU：用 Codex 计算设计出 IL-36 迷你蛋白结合剂 — CatAstro_Piyush · 2026-11-13
- 双智能体优化计算化学代码,TDDFT 计算最高提速 94% — CatAstro_Piyush · 2026-11-13
- Claude 经 MCP 搭 3D 场景,Nano Banana+Seedance 生成动作片预告 — azed_ai · 2026-11-13