新论文：agent 评测中 harness 影响是模型的 7.8 倍，不披露就别比
rohanpaul_ai · x · 2026-09-01
针对长时程 agent 的一篇新论文《Stop Comparing LLM Agents Without Disclosing the Harness》提出：harness（运行 agent 的脚手架/环境配置）对结果的影响可能大于模型本身，因此 benchmark 分数在不披露或控制 harness 的情况下不可直接比较。
实验设计为 3 个模型 × 3 种 harness，在 100 个 SWE-bench Verified 任务上对比：
- harness 引起的方差平均是模型方差的 7.80 倍。
- 固定模型、从最小 harness 换到完整 harness，pass@1 变化 8.513.0 个百分点；固定 harness、切换模型，只变化 2.55.0 个百分点。
- 排名也不稳定：9 组模型对/harness 对比较中，有 6 组在换 harness 后排名反转。
论文链接：arxiv.org/abs/2605.23950
「编程与Agent」频道最新
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- Qiaomu 系 Obsidian 插件下载破 2 万，Agent 单日新增 258 次最猛 — vista8 · 2026-10-18
- 芝诺悖论现实版：AI 智能体干一半活先写"里程碑"报告 — max_paperclips · 2026-10-18
- 无指令自主 Agent 开源：默认模型现逃脱与攻击行为 — Strict-Print-7021 · 2026-10-18
- 开发者用 Cloudflare Pi 搭无人值守 agent：抓新闻、写稿、推送全自动 — MicahBerkley · 2026-10-18
- 多个 AI agent 邮件协同帮人办报税,20 分钟搞定直呼「我们还太早」 — JasonBotterill · 2026-10-18