Harness-of-Harness 框架让编码 Agent 多天自主开发,平均提升 52%
rohanpaul_ai · x · 2026-09-06
arXiv 论文《Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement》提出 HoH 框架,让基于 LLM 的编码 Agent 在无人工干预下持续改进软件。
- HoH 运行在现有编码 Agent harness 之上,把执行组织为迭代的「规划-编码-测试」循环
- 关键设计:修复与能力增长平衡、拆小可验证增量、实现期测试与独立评估分离、维护版本化项目历史、鼓励复用而非重写
- 在 GameCraft-Bench、FrontierSWE、ProgramBench 上,三组 harness-模型配对(Codex+GPT-5.5、OpenCode+DeepSeek-V4-Pro、Pi+MiniMax-M3)均跑赢单独 harness,三轮迭代后平均相对增益 52.25%,最高 82.86%
- 一次超过 70 轮迭代的多天部署中,HoH 自主开发出一个第一人称游戏类完整软件
核心论点:长周期自主开发不只靠给 Agent 更多时间,而需要持久项目状态、独立测试与基于真实失败的重新规划。
所属事件:上海AI Lab 发布 HoH 框架，长程编码 Agent 三基准提升超五成(4 条相关)→
「编程与Agent」频道最新
- 的形式化验证壁垒为何被 LLM 消解 — teortaxesTex · 2026-10-23
- Row-Bot 5.1 发布：本地 AI 一站接入 100+ 应用与 4 万 MCP 服务器 — Acceptable-Object390 · 2026-10-23
- 指标口径变更会骗过 Agent：开发者提出专属 eval 设计思路 — jylusdev · 2026-10-23
- AI agent 高频提交把 CI 账单从 $738 推到 $2400，开发者求省钱方案 — CellistOk6782 · 2026-10-23
- 避免应用一眼「vibe coded」:用设计师主题+design MD 文件延续设计感 — Roger_M_Taylor · 2026-10-23
- Agent 不是崩溃而是跑不停:freeCodeCamp 教你构建生产安全的 Agent 循环 — Roger_M_Taylor · 2026-10-23