ELITE 方法免任务评测进化编码 Agent,SWE-bench Pro 解题率 60%→86%
RobertTLange · x · 2026-11-21
Robert Lange 介绍论文《Evaluation-Free Recursive Self-Improvement for Coding Agents》(Ren et al., Jilin University & KAUST)。
- 问题:自我改进的编码 agent 通常用下游任务评测(evaluate-and-select)来决定保留哪些对自身 harness 的修改,反复执行评测成本高昂且易过拟合基准。
- 方法:ELITE(Explore-then-Integrate)让每代候选修改从同一父版本出发探索,检查各版本程序后,把互补、冗余、冲突的机制整合重实现为一个连贯后代;进化循环内只用确定性检查(能否编译、工具能否运行),不做任务评测。
- 结果:SWE-bench Pro 子集上,DeepSeek agent 解题率从 60% 提升到约 86%(对比 DGM 86.7%、HGM 88.3%),但候选评测次数为 0,wall-clock 进化时间分别缩短 8.8×/3.2×。
- 跨模型迁移:用 DeepSeek 进化出的 harness 换到 Qwen 后,在 SWE-bench Pro 平均 73.3%、Verified 88.5%、Polyglot 69.3%。
- 关键消融:去掉基本检查后提升消失,说明结构有效性验证是核心。
「编程与Agent」频道最新
- 前 GitHub 高管推出 Maven 课程「精英 AI 辅助编程」,限时低价 — intellectronica · 2026-11-21
- 开发者推出托管 WhatsApp MCP 服务,只读模式专防提示注入 — uriwa · 2026-11-21
- 马斯克转发 GPT 工作流技巧:让 Grok 充当审查 bot 监督其他 bot — elonmusk · 2026-11-21
- 用 Gemini 调 Apple Depth Pro 2 权重,开源 PBR 材质生成器 hypbr 一键出 15 张贴图 — ssh4net · 2026-11-21
- 开发者自建 MCP 入门指南:从核心概念讲透模型上下文协议 — Late_Profile_4534 · 2026-11-21
- Google 上调 Antigravity 用户 Gemini 配额,缓存优化提升 22% 产出 — cgarciae88 · 2026-11-21