AgentSWE 基准发布:编码 Agent 造 Agent 无一达标
BAAI、中科院自动化所与人大团队发布 AgentSWE 基准,首次系统测试编码 Agent 能否按自然语言需求构建、编辑和优化用户所需的 Agent,覆盖 Creation、Editing、Optimization 三类任务。实测结果显示现有编码 Agent 表现不佳:25 个任务无一达标,50 次平均仅得 11.2 分。论文与代码已开源。
2026-10-13 ~ 2026-10-13 · 2 条相关
- AgentSWE 基准:25 个任务实测编码 Agent 造 Agent,无一达标 — Jiahao Wang · 2026-10-13
- AgentSWE 基准:让编码 agent 按需求造 agent,50 次平均仅 11.2 分 — _akhaliq · 2026-10-13