同一模型同一任务仅换 harness,成功率从 68% 升至 88%
Arindam_1729 · x · 2026-11-05
Marmelab 发布《State of harness engineering》报告:用同一个模型、同样的 25 个编码任务和工具,仅更换 8 种不同的 harness,成功率就从 68% 提升到 88%。团队随后审计了 246 个 agent 仓库并梳理 57 篇论文。
最扎眼的发现:
- 60% 的 harness 没有任何测试和 eval,只有一份没人验证过的 AGENTS.md markdown 指令
- 说明大量 agent 项目的差异主要来自工程脚手架质量,而非模型本身
结论:harness 工程是被低估的杠杆,想让 agent 表现更好,先补上测试和评估体系,而不是急着换模型。
所属事件:报告称 Agent 成败关键在 harness：换框架成功率 68% 升至 88%(2 条相关)→
「编程与Agent」频道最新
- Agent 运行的五种结局,你的设计覆盖全了吗? — ClickOk5811 · 2026-11-05
- 网友用 Claude Code 搭流水线：Suno 音乐配 three.js 逐帧动画一次过 — Glass-Garden-5888 · 2026-11-05
- 一条冷门 git 命令带来 12% 性能提升,实测 Linux 内核源码验证 — DanielLockyer · 2026-11-05
- 视觉 token 路由 VTR：精度不变，VLM agent 省 5.8 倍视觉 token — wellecks · 2026-11-05
- 独立开发者开源浏览器本地模型屏监 Agent,一年磨一剑 — Roy3838 · 2026-11-05
- Together 提出按任务模糊度选模型:写测试用小模型,重构认证上大模型 — togethercompute · 2026-11-05