同模型换 harness 成功率 68%→88%，246 个 agent 仓库审计揭秘
Arindam_1729 · x · 2026-11-05
Marmelab《State of harness engineering》报告显示：同一模型、同一任务、同一工具，只换 harness，成功率从 68% 升至 88%。报告团队审计了 246 个 agent 仓库和 57 篇文献，发现 60% 的 harness 没有测试、没有 eval，只有一份没人验证是否被遵循的 AGENTS.md。
核心观点：coding agent = 模型 + harness（能看到什么、能碰什么、谁检查工作、跨会话记什么、谁判定完成）。模型是租的，harness 是你拥有的。很多人为 5% 提升频繁换模型，却忽视了规则文件里 20 分的差距。
作者建议动手前先做的四件事
- 写下「完成」标准——agent 无法检查就会瞎猜
- 把最重要的规则做成脚本或 hook，而不是一句话
- 保留 10 个真实任务作为固定 eval，每次改 harness 后重跑
- 删掉 agent 从不使用的规则——陈旧上下文也是上下文
结论：下一波好工具不是更聪明的模型，而是更好的 harness；测试自己 harness 的团队会悄悄甩开争论选哪个模型的团队。
所属事件:报告称 Agent 成败关键在 harness：换框架成功率 68% 升至 88%(2 条相关)→
「编程与Agent」频道最新
- Hugging Face 工程师用 agent 给 DuckDB 写出 hf_dataset() 函数 — lhoestq · 2026-11-05
- 法国自研搜索引擎 ibou 推出 API:专为 LLM 与 Agent 提供搜索能力 — IgorCarron · 2026-11-05
- YC 炉边谈话：Weave 融资 1350 万美元，量化 AI 编码真实产出 — ycombinator · 2026-11-05
- 团队在 ARC-AGI-3 挑战赛 5000 队中获第 7：好 harness 胜过大模型 — gklambauer · 2026-11-05
- Intent 移动端更新：PR 视图、语法高亮与 agent 私密索要密钥 — LukeW · 2026-11-05
- Codex 修复长任务内存泄漏,可无限时运行 /goal — Dimillian · 2026-11-05