Harness 演化评测被高估了
UW · hf · 2026-07-18
这篇工作重新审视了 LLM agent 的 harness 自动演化 评测方式。
作者指出，现有方法通常用单元测试反馈去搜索 harness 配置，并在同一公开基准上报告最终成绩，这会带来两个问题：
- 把 harness 改进和额外搜索混在一起：harness 演化本身也是一种迭代搜索，应和简单的任务级 test-time scaling / discovery baseline 在相同反馈与推理预算下公平比较。
- 可能对基准过拟合：搜索与最终评测使用同一批任务，提升可能只是记住了该任务集，而不是真正学到了可泛化的 harness 设计。
作者在 Terminal-Bench 2.1 上，结合 GPT-5.4 和 Claude Opus 4.6 做了系统实验。结果显示：
- 自动 harness 演化并不稳定优于简单的 test-time scaling 方法；
- 在留出任务上的泛化有限；
- 现有评测协议可能高估了自动 harness 设计的收益。
结论是：需要更公平的评测协议和更合适的 benchmark，来判断自动 harness 设计到底带来了什么。代码已开源。
所属事件:Agent外壳自改与领域Harness之争(6 条相关)→
「编程与Agent」频道最新
- 求职作品集反向工程法：先用 Agent 调研面试官，再定作品要传达的一两个亮点 — brandon_galang · 2026-10-27
- 给 AI 一台无隐私裸机 24/7 放养：比任何 agent 课程学得都多 — EXM7777 · 2026-10-27
- 掌握 Agentic AI 工程必读的 20 篇论文清单，按六大模块整理 — MaryamMiradi · 2026-10-27
- LangChain 旧金山 Meetup：决策模型如何为 Agent 评测降本 — LangChain · 2026-10-27
- 你的 popcount 循环为何被 Clang 换成一条位计数指令 — jimmykoppel · 2026-10-27
- Claude 被喂「物理穿帮」AI 视频：自动算 CFD 修复后重渲染同场景 — OfirPress · 2026-10-27