实测编码 Agent 仅 26% 任务全对，旧榜单已饱和
emmanuelvivier · x · 2026-11-09
阿里与多所亚洲高校的研究者构建了 Co-Design Bench，用真实用户改动请求测试编码 agent，结果远低于旧榜单。
- 任务要求 agent 基于用户请求改造现有 Web 应用，输入可含图片、音频、视频或文档。
- 十款模型中最好的 GPT-6 Astra 平均满足约 70% 的需求点，但仅 26.4% 的任务完全正确；多数情况 agent 完成主体工作却留下至少一处细节，用户几乎总要手工收尾。
- 作者指出旧 benchmark 已饱和：模型能自行运行、检查、修复代码，在旧测试上得分超 99%，模型间差异难以区分；而 Co-Design Bench 与旧榜（如 WebCompass-edit）差距超过 35 个百分点。
- 数据集优先选取用户需多次改写请求或回滚改动的真实案例。
所属事件:新基准揭编码 Agent 短板：最强模型全对率仅 26%(2 条相关)→
「编程与Agent」频道最新
- GitNexus：把任意 GitHub 仓库变浏览器内交互知识图谱，全程零后端 — JafarNajafov · 2026-11-09
- Better Paseo 插件：把所有 AI Agent 汇总到一个任务看板 — intellectronica · 2026-11-09
- 阿里开源 Zvec 嵌入式向量库，GitHub 16k 星直指 Pinecone — bigaiguy · 2026-11-09
- 《黑镜》编剧 Ian Bogost 式工具 Keep 上架 iOS：一键把内容存成 Markdown 喂给 Agent — iannuttall · 2026-11-09
- Claude Code 跨会话消息实测：两大限制与安全加固配置 — Independent-Sir3234 · 2026-11-09
- 开源 RAG 评测工具发布:核心指标免 API key,聚焦召回与忠实度 — infrixo · 2026-11-09