SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场
Consistent_Fox_2990 · reddit · 2026-10-16
SWE-Duel 是一个自扩增强、抗数据污染的编码 agent 对抗评测场,论文已上 arXiv,代码与排行榜开源。
- 玩法:两个 agent 在真实仓库上轮流扮演红蓝双方。红方新增一个功能并在其中藏一个隐蔽 bug,附带封存的测试用例;任务有效性由「同 agent 全新会话能否盲修该 bug」校验,避免出不可解题。
- 蓝方在不知情的情况下 review PR,只有当修改通过功能测试、原有测试和隐藏 bug 测试才算赢,然后双方换位。
- 动机:静态基准会泄漏进训练数据且终会饱和,互相出题可持续生成新任务。
- 结果:11 个参赛者循环赛后,榜单显示 GPT-5.5、Claude Opus 4.8、GPT-5.5(不同 harness)居前列,Gemini 3.1 Pro + mini-swe-agent 作为后入场者仍可直接加入评比。
资源:榜单 sweduel.github.io,论文 arXiv 2610.12569,源码在 GitHub。
「编程与Agent」频道最新
- Sakana AI 推出 Agentic Scientist:用编码智能体自动化科学发现 — hardmaru · 2026-10-16
- 一个末尾句点绕过防护:VS Copilot 漏洞可致远程代码执行 — wunderwuzzi23 · 2026-10-16
- Celestine MCP 服务器让 AI 帮你算本命盘和行运 — modelcontextprotocol · 2026-10-16
- ProfitPlay MCP Server 让 AI Agent 自动交易加密与股票预测盘 — modelcontextprotocol · 2026-10-16
- Google 推荐用 Polyhaven 素材库帮 Agent 搭建逼真 3D 场景 — jason_mayes · 2026-10-16
- Excaliflow 开源：手绘风图表支持实时数据流动画，单 HTML 零依赖 — Saboo_Shubham_ · 2026-10-16