Qwen 等发布 Co-Design Bench:最强模型也仅完整完成 26.4% 任务
Qwen · hf · 2026-10-30
阿里 Qwen 团队联合复旦、浙大、港中文等发布 Co-Design Bench,一个评估编码 agent 处理真实用户多模态改需求能力的免参考基准。
- 规模:273 个任务,从 26,314 个真实用户编码会话的 37,463 条去重查询中精选;含 2,331 条隐藏的专家验收标准。
- 结构:双赛道——多模态编辑(ME,带图片/音频/视频/文档输入的局部修改)与仓库编辑(RE,协调多处代码改动);覆盖三类能力维度:接地理解、UI 转换、功能实现。
- 评测协议:judge-then-refute——先依据源码与浏览器证据判定标准,再用独立 LLM 验证器质疑正向判定,无需金标准代码或目标截图即可审计视觉与交互声明。
- 结果:共享 agentic harness 下,十个模型端点中最强者平均每任务只满足 69.9% 的标准,完全达标的任务仅 26.4%;所有模型在跨三四类改动的仓库编辑上完成率都低于跨一二类改动,暴露「部分满足需求」与「完整完成任务」间的巨大鸿沟。
「编程与Agent」频道最新
- CodeGraph 开源:75.9k 星,把代码知识图谱喂给 Claude Code — JeremyCMorgan · 2026-10-30
- MCP 生态再添小工具：可查询阿根廷节假日、汇率与立法数据 — modelcontextprotocol · 2026-10-30
- Dropbox 官方 MCP Pack 上线：把 Dropbox API v2 接入 AI 助手 — modelcontextprotocol · 2026-10-30
- 本地视频模型横评：Pika H3 Flex 对阵三种蒸馏配方测角色一致性 — rileygstaliger · 2026-10-30
- 开源长视频工具 seriesmith：按剧本生成 22 分钟剧集而非逐镜头 — bgstratt · 2026-10-30
- 官方 Claude Code VS Code 扩展被投毒,版本 2.1.313 植入 SSH 后门 — jd_pressman · 2026-10-30