Harness-of-Harness 跨轮传递状态,长程编码 Agent 得分 71.5 vs 58.2
rohanpaul_ai · x · 2026-09-06
HoH(Harness-of-Harness)方法解决长周期编码 agent 的核心痛点:项目越长,agent 越容易遗忘早期决策、重复劳动、破坏已工作功能、漏掉未完成需求。
- 做法:把当前软件、测试证据、已知问题和更新后的计划一并「携带」进下一轮编码运行,配合独立测试和基于真实失败的重新规划。
- 结果:3 种 agent 配置在 3 个软件基准上全部提升。最直观的对比:Codex + GPT-5.5 在 GameCraft-Bench 上跑 3 轮,HoH 得分 71.52,简单延续同一 agent 只有 58.24。
- 极限测试:连跑 70 轮,从高层需求直接产出可玩的 FPS 游戏——但仅限单个游戏项目且用了额外工具,泛化性仍待验证。
- 结论:长程编码的关键不是给 agent 更多时间,而是持久项目状态 + 独立 QA + 证据驱动的重规划。
所属事件:上海AI Lab 发布 HoH 框架，长程编码 Agent 三基准提升超五成(4 条相关)→
「编程与Agent」频道最新
- 一人团队用 agent 跟踪 519 个目录站，已提交 311 个 — fekdaoui · 2026-10-23
- MIT ScienceClaw 黑客松:去中心化 AI agent 集群攻科学难题 — ProfBuehlerMIT · 2026-10-23
- Reddit 热议:长时程 Agent 该在 harness 层解决什么问题 — Glittering812 · 2026-10-23
- 月付 20 美元同时跑 100 个 DeepSeek v4.1 flash agent — zack_overflow · 2026-10-23
- MCP 弃用 session-id 转向内联 _meta,有状态工具迁移成难题 — Stock-Pumpkin-8859 · 2026-10-23
- 开发者给 Mac 截图库加本地 MCP 服务器，让 Claude 参考你的截图做设计 — Embarrassed-Ebb-740 · 2026-10-23