阿里 Co-Design Bench:最强编码 Agent 完成率仅 26.4%
VectorWireAI · reddit · 2026-11-09
阿里巴巴联合多所亚洲高校的研究者在 arXiv 发布新基准 Co-Design Bench,基于真实用户请求构建,共 273 个任务,测试十个编码 Agent 模型。结果相当残酷:表现最好的 GPT-6 Astra 也只完整完成了 26.4% 的任务,说明当前编码 Agent 在面对真实用户需求(而非干净的竞赛题)时,能力仍有巨大落差。该基准揭示了「真实请求」与现有评测之间的差距,值得作为衡量 Agent 实战能力的新参照。
「编程与Agent」频道最新
- 中科大等揭示 Agent 演化真相:16 个进化 agent 全部「拆东墙补西墙」 — ustc-community · 2026-11-09
- 学者开源论文纠错 skill,一份清样揪出约 30 处错误 — RobbWiller · 2026-11-09
- ezyang：规格语言功能越花哨，验证的可信基座风险越大 — ezyang · 2026-11-09
- 开发者用 Opus 5.5 纯 Python 渲染出 3D 画面,零 3D 资产 — Eric520CC · 2026-11-09
- REA 作者开源 20+ 仓库:用 agent 搭建从 App 到二进制的逆向工程工作站 — nikola_mr64990 · 2026-11-09
- 休完假回来发现自家 agent 自己训了个数据标注小模型并本地部署 — max_paperclips · 2026-11-09