阿里等发布 Co-Design Bench:顶级编码 Agent 真实任务完整完成率仅 26.4%
krishnan · x · 2026-11-12
阿里与高校研究者发布 Co-Design Bench：从 26,314 个真实编码会话中抽出 273 个用户变更请求任务，用 2,331 条隐藏验收标准评分，AI 评审通过还需第二模型挑战复核。旧基准上模型得分已超 99%，但真实任务中最好的模型（GPT-6 Astra）只有 26.4% 完整完成，平均满足 69.9% 的验收标准。
关键发现：
- 任务选自用户曾需重新表述或回滚的会话，偏难
- 同一模型在不同 harness 下对大型改造任务得分差距可达 75% vs 56%，纯模型排行无法反映实际购买体验
- 结论：饱和基准已无法区分模型，应在自己的真实被拒请求上同时评测 agent 与 harness，并把返工时间计入成本
所属事件:阿里等发布 Co-Design Bench：顶级编码 Agent 真实任务完成率仅 26.4%(2 条相关)→
「编程与Agent」频道最新
- AI 降低了切换成本，现在是发明新框架的最好时机 — Vjeux · 2026-11-13
- NetBird 路由 peer 方案:无需在每台服务器装客户端即可安全远程访问 — philipvollet · 2026-11-13
- 实测 Gemini Decision API：让 AI 自动编排设计软件里的决策路径 — huangyun_122 · 2026-11-13
- 求一行安装命令，AI 编码助手却回了一段带校验的完整脚本 — gethackteam · 2026-11-13
- 新基准 Company Agent Bench 发布：对比 Dots、Grok Bot、Claude Tag、Devin — philhchen · 2026-11-13
- 「Fable 5.2」空文件夹起家:千个子 Agent 八天造出能开机的操作系统 — ChrisGPT · 2026-11-13