论文揭示 Agent 基准分不可靠：Harness 影响超模型 7 倍
omarsar0 · x · 2026-08-26
一篇新论文探讨了 Agent 排行榜对比为何难以信任，核心在于基准得分中有多少属于“Harness”（模型与任务之间的中间层）。
Harness 负责构建模型上下文、中介工具调用、验证输出并决定重试或停止。作者在 SWE-bench Verified 的 100 个任务上进行了控制变量实验，保持任务顺序、执行环境等不变，测试了三个前沿模型和三种 Harness 配置。
结果显示，更换 Harness 会使 GLM-5.1 的得分波动 13.0 分，而在固定 Harness 下更换模型仅导致 3.0、2.5 和 5.0 分的波动。Harness 引入的方差是模型引发方差的 7.8 倍，在 9 对模型对比中，有 6 对的排名关系会因为 Harness 的不同而翻转。
所属事件:论文指出Agent排行榜不可信：测试框架影响远超模型本身(2 条相关)→
「编程与Agent」频道最新
- 马斯克转发用户实测：Grok Bot 不比 Codex 强但更顺手 — elonmusk · 2026-10-15
- 独立开发者发布 Blob0：把 S3/R2 对象存储管成 Mac 本地文件夹 — yihui_indie · 2026-10-15
- 2026 AI 工程师六层技能栈：从向量库到 Agent 编排 — mdancho84 · 2026-10-15
- 用 ChatGPT 搭机械工程工作流：Agent 编排热固封头研究，却因重置中断 — burhop · 2026-10-15
- 开源 Harness 工程课爆火：19k 星教你让编码 Agent 干活可靠 — thisguyknowsai · 2026-10-15
- 6 人团队 3 个月：AI Agent 进驻医保预授权平台的落地实录 — alex_verem · 2026-10-15