实证研究:AI 编程代理自我复盘进化,7 项改动仅 2 项真正奏效
dotey · x · 2026-11-04
dotey 深入解读了新加坡管理大学 Christoph Treude 与海德堡大学 Sebastian Baltes 10 月底发布的论文《How Do Coding-Agent Harnesses Self-Evolve?》,实测「让 Claude Code 干完活后用 /retro 复盘并修改工作手册」是否真能自我进化。
研究方法
- 从 SWE-bench Verified 选 30 个真实开源项目问题(Django、SymPy、Astropy 等)
- Claude Code 每修完一题运行一次 /retro,共产生 125 条建议,人工筛选后落实 24 条,其中 11 项可测试
- 在同项目另一处同类问题上,原配置与改动配置各跑 5 次对比行为
核心结论
- 7 次有效测试中仅 2 项改动彻底消除了想解决的问题,1 项减少出现,其余无效甚至让 AI 在不相关任务上多做检查
- 18/43 条建议与实际发生的事无关,是「通用套话」
- 结论:harness 自我进化不能只靠生成和落实建议,需要人类选择与评估、版本管理和回退机制
dotey 的经验补充:只有验收标准可程序化量化的 Skill(如优化可测量的代码性能)才能自我进化;写作类 Skill 靠 AI 自评会偏离人类体感。最佳实践是人指出方向、AI 执行修改、做好版本管理逐轮迭代。
所属事件:研究者为 Claude Code「/retro」技能撰写论文验证自我进化效果(3 条相关)→
「编程与Agent」频道最新
- Inkling-2-Mini 单卡本地跑出 KernelBench-Mega 10.04x,超越多家旗舰 — ziqiao_ma · 2026-11-23
- Visa 推出 CLI 代理钱包:AI 智能体刷 Visa 卡接任务赚 OUSD — Scobleizer · 2026-11-23
- TLA+ 使用者必读:孙医生与徐天逸推荐重读 Lamport 的 TLA 原始论文 — tianyin_xu · 2026-11-23
- 开发者弃用 Mermaid 图,在 agent 工具中改用航班说明式表格布局 — thesephist · 2026-11-23
- Claude Code + Obsidian 五分钟搭出越用越聪明的第二大脑 — dr_cintas · 2026-11-23
- LinkedIn 12 月收紧数据导出:人脉邮箱职位将不再包含 — thedealdirector · 2026-11-23