SWE-Duel 红蓝互出自测题:自扩容编码 Agent 竞技场

SingaporeManagementUniversity · hf · 2026-10-12

新加坡管理大学提出 SWE-Duel,一个自扩容的编码 agent 竞技场,解决静态基准被训练数据污染、易被刷饱和的问题。两名 agent 轮流扮演红蓝双方:红方在真实仓库里实现新功能并埋入隐蔽 bug 与密封触发测试,PR 只有通过功能测试、且同 agent 全新会话能盲修该 bug 才被采纳(排除无解题);蓝方在不知情下审查修复。11 个模型-harness 组合在 5 种语言的 15 个仓库上进行了 1500 回合锦标赛:GPT-5.5 + Codex CLI 以 98.3% 缺陷修复率获第一,Claude Opus 4.8 + mini-swe-agent 以 27.3% 红方胜率成为最强出题者;同家族新版本出的题对固定参照 solver 的击败率 42.9% 远高于旧版的 4.0%,初步表明任务难度随模型出题能力扩展。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →