HoH 论文详解：三大基准平均提升 52.25%，无人工开发出可玩 FPS
aigclink · x · 2026-09-05
Harness-of-Harness（HoH）论文页面公开（上海AI Lab，Haoyang Yan 等共同一作）。研究 LLM coding agent 的全自主软件开发：从高层需求到完整可用的软件，无进一步人工干预。
方法要点：
- 在现有 coding-agent harness 之上组织“规划-编码-测试”迭代循环
- 平衡修复与能力增长、把开发切分为小而可验证的增量、实现期测试与独立评估分离、只约束可验证产出
实验数据：在 GameCraft-Bench、FrontierSWE、ProgramBench 三个基准上，用 Codex+GPT-5.5(high)、OpenCode+DeepSeek-V4-Pro、Pi+MiniMax-M3 三组组合评测，HoH@1-3 三轮迭代后平均相对提升 52.25%，最高 82.86%。多日部署 70+ 轮迭代自主开发出 Fusepoint：带连贯剧情、完整核心机制、精致视觉与音频的可玩第一人称射击游戏。
项目页提供论文、GitHub 与游戏下载。
所属事件:上海AI Lab 发布 HoH 框架，长程编码 Agent 三基准提升超五成(4 条相关)→
「编程与Agent」频道最新
- 的形式化验证壁垒为何被 LLM 消解 — teortaxesTex · 2026-10-23
- Row-Bot 5.1 发布：本地 AI 一站接入 100+ 应用与 4 万 MCP 服务器 — Acceptable-Object390 · 2026-10-23
- 指标口径变更会骗过 Agent：开发者提出专属 eval 设计思路 — jylusdev · 2026-10-23
- AI agent 高频提交把 CI 账单从 $738 推到 $2400，开发者求省钱方案 — CellistOk6782 · 2026-10-23
- 避免应用一眼「vibe coded」:用设计师主题+design MD 文件延续设计感 — Roger_M_Taylor · 2026-10-23
- Agent 不是崩溃而是跑不停:freeCodeCamp 教你构建生产安全的 Agent 循环 — Roger_M_Taylor · 2026-10-23