新基准揭编码 Agent 短板:最强模型全对率仅 26%
阿里联合多所亚洲高校发布新基准 Co-Design Bench,基于真实用户改动请求构建,共 273 个任务,要求 Agent 基于用户请求改造现有代码,测试了十个编码 Agent 模型。结果显示最强模型完成率仅 26.4%,远低于已趋饱和的旧榜单,表明编码 Agent 在真实场景中仍有明显短板。
2026-11-09 ~ 2026-11-09 · 2 条相关
- 阿里 Co-Design Bench:最强编码 Agent 完成率仅 26.4% — VectorWireAI · 2026-11-09
- 实测编码 Agent 仅 26% 任务全对,旧榜单已饱和 — emmanuelvivier · 2026-11-09