阿里 Co-Design Bench:最强模型也仅完整解决 26.4% 真实编码任务
The Decoder · rss · 2026-11-08
The Decoder 报道了阿里巴巴新发布的 coding-agent 基准 Co-Design Bench，它选取的是实践中已经让 AI 栽跟头的真实用户请求。结果差距惊人：
- 表现最好的 GPT-6 Astra 也只能完整解决 26.4% 的任务，即近四分之三仍需人工收尾
- 而同样的模型在旧基准上的得分超过 99%，凸显现有评测与现实严重脱节
这一基准再次说明：高分榜成绩与真实工程任务的可靠性之间仍存在巨大鸿沟。
「编程与Agent」频道最新
- Anthropic 招聘经理废除编码面试：AI 时代饥饿感胜过资历 — bibryam · 2026-11-08
- Agent Lightning 论文:让模型在部署同一套 harness 中训练智能体 RL — bibryam · 2026-11-08
- 程序员12年8000次提交:从一个黄色三角形到可驾驶的30公里岛屿 — ssh4net · 2026-11-08
- LLM 真能赢过人类工程师？FFmpeg 的 Assembly 代码是现成考题 — sh4dy_0011 · 2026-11-08
- 每天仅 20 美元挖出 10 个漏洞，8 个是 CodeQL 没发现的全新漏洞 — _h4xr · 2026-11-08
- 终端 Markdown 预览器 leaf 走红：支持 Mermaid 图和 LaTeX 公式 — 4310sy · 2026-11-08