Co-Design Bench:最强模型仅完整完成 26.4% 真实编码任务
GaryMarcus · x · 2026-11-12
阿里联合多所亚洲大学的研究者发布了 Co-Design Bench，一个基于真实用户改需求记录构建的编码智能体基准：任务要求 agent 根据用户请求改造现有 web 应用，输入还可能包含图片、录音、视频或文档。
核心发现：
- 测的十个模型中，最强的 GPT-6 Astra 平均只满足约 70% 的任务要求，仅 26.4% 的任务完全正确
- 多数情况下 agent 完成大头但至少留一个细节没做，用户几乎总是要手动收尾
- 作者指出现有基准已饱和：当模型能自己跑、自己查、自己修时，老基准分数超过 99%，模型差异测不出来
- 在 WebCompass-edit 等 Old 基准上 agent 得分接近满分，Co-Design Bench 上则拉开超过 35 个百分点的差距
Gary Marcus 转发并讽刺「约四分之三的任务仍需人工清理——要是有人早能预见就好了」。
「模型」频道最新
- 谷歌发布 Gemini Decision 1，开发者已用 PowerShell 跑通首个调用 — dfinke · 2026-11-12
- Claude 写 211 分钟长文：从第一颗细胞到人类的认知演化史 — mimi10v3 · 2026-11-12
- 博主实测 Claude 两个新模型：5 大真实场景该用哪一个 — petergyang · 2026-11-12
- Zvi 周报:METR 加速报告引发 2027 智能爆炸预期大幅更新 — Don't Worry About the Vase (Zvi) · 2026-11-12
- 用户晒出 Anthropic 赠送 4 次免费额度重置：1 次全量加 3 次 Fable 重置 — zsakib_ · 2026-11-12
- KRAFTON Raon-1 Nano 3.1B 获 ik_llama.cpp 原生支持,MTP 投机解码提速 17% — Any_Bus9205 · 2026-11-12