HarnessFix 研究 30 个 Agent 仓库，完成率最高提升 18.4 分
青稞AI · wechat · 2026-07-25
HarnessFix：把 Agent 失败从“模型问题”转成“可修复的 Harness 问题”
这篇来自中科院软件所的工作提出 HarnessFix，目标不是训练更强模型，而是诊断并修复包裹在 LLM Agent 外围的 AgentHarness：包括执行环境、工具接口、上下文与记忆、编排流程、可观测性、验证、治理与安全。
- 研究先分析了 30 个流行开源 LLM Agent 仓库 的约 57,780 条开发记录，发现其中 26,174 条（45.3%） 都与 Harness 缺陷修复有关，且 30 个仓库无一例外都存在这类问题。
- 最常见的缺陷集中在 Lifecycle、Tooling、Observability 三层，说明问题往往不在 Prompt 本身。
- HarnessFix 先把执行轨迹编译成 HTIR，再沿数据流和控制流回溯责任步骤，并把诊断结果映射到限域修复操作，最后用回归感知验证决定补丁能否接受。
在 GAIA、SWE-Bench Verified、AppWorld、Terminal-Bench 2.0 Verified 四个基准上，HarnessFix 相比初始 Harness 的任务完成率提升 6.3 到 18.4 个百分点；对比最强自动基线也有 2.6 到 5.0 个百分点优势，同时离线 token 消耗更低。
文章最核心的结论是：很多看起来像“模型粗心”的失败，真正根因可能是参数校验缺失、错误被吞掉、完成条件过弱、状态变化没被验证。当 Agent 开始承担长链路、带状态的任务时，可靠性提升不能只盯着模型，也要修 Harness。
「编程与Agent」频道最新
- 实测 Sol61 指令遵循翻车：明确要求先调研仍直接给方案 — lucasmeijer · 2026-10-26
- Ben Bajarin：用前沿 AI 对抗前沿攻击，智能体成企业网防新前线 — BenBajarin · 2026-10-26
- 开发者吐槽：脱离 harness 的 API 模型「裸奔」时笨得让人想哭 — madeofAjala · 2026-10-26
- HarnessMM 论文：缓存已定决策,Agent Token 消耗降 88% 成功率反升 — omarsar0 · 2026-10-26
- 微软展示用 Copilot App 与 Foundry 搭建跨 Teams/Outlook 的意图识别 Agent — marlene_zw · 2026-10-26
- 求推荐可穿戴录音麦克风：要长续航，接自己转写和 MCP — altryne · 2026-10-26