决定 Agent 可靠性的是 Harness 工程而非模型本身
工程社区近期密集讨论 agent harness（模型外层封装系统）对 Agent 可靠性的决定性影响，核心共识是：强大的模型不等于可靠的 Agent，真正决定表现的是围绕模型的工程系统。模型提供智能，harness 提供结构、控制与可靠性。
已确认
- 多伦多大学基于 57 篇论文的研究显示，同一模型因 harness 设计不同，性能差距可达 6 倍。Marmelab 作者结合这批论文与自身经验总结了 harness 工程最佳实践，并建议从历史会话中挖掘纠正 agent 的规律——每次纠正 agent 的地方就是改进 harness 的线索。
- Shalini Goyal 发长文系统总结 5 个 harness 工程技巧：构建有界控制循环（plan → act → observe → evaluate 循环加迭代上限与停止条件，防死循环与资源浪费）；工程化上下文与状态管理（只给任务相关上下文、维护工作记忆与任务进度、持久化 checkpoint 以便中断恢复）；设计安全的工具访问（最小权限、输入输出校验、敏感操作人工审批）；加入验证与评估（对照任务需求校验、完成前跑测试与独立检查、追踪真实场景成功率）；实现可观测性与恢复（记录工具调用等过程信息）。
- Goyal 强调「Agent 说任务完成」不等于任务真的正确完成，必须靠独立验证确认。
- Goyal 还整理了学习资源合集，包括 Microsoft Agent Framework / Agent Harness 文档（把语言模型变成可用 agent 的运行时脚手架）、Anthropic 的 agent 评测材料及相关论文。
为什么重要
- 多伦多大学的 6 倍性能差数据说明，在模型能力既定的情况下，harness 工程是提升 Agent 表现最高杠杆的投入方向之一。
- 这一框架将「Agent 可靠性」从选模型问题重构为系统工程问题：对团队的技术投入与组织方式都有直接指导意义。
2026-10-30 ~ 2026-11-01 · 9 条相关
一手来源
- 读 57 篇论文总结:多伦多大学称 harness 设计可造成 6 倍性能差 — Marmelab ·
- 5 个 Harness 工程技巧让 LLM 变成可靠 Agent — goyalshaliniuk ·
- Agent Harness 资源合集:微软框架、Anthropic 评测与论文一览 — goyalshaliniuk ·
- 【源头】读 57 篇论文总结:多伦多大学称 harness 设计可造成 6 倍性能差 — Marmelab · 2026-10-30
- 【源头】5 个 Harness 工程技巧让 LLM 变成可靠 Agent — goyalshaliniuk · 2026-11-01
- 给 Agent 控制循环设界：防死循环与资源浪费 — goyalshaliniuk · 2026-11-01
- 有界循环与上下文工程：Agent 可靠性头两步 — goyalshaliniuk · 2026-11-01
- 最小权限与检查点：Agent 工具访问与上下文管理 — goyalshaliniuk · 2026-11-01
- 安全工具访问与结果验证：可靠 Agent 的中间两环 — goyalshaliniuk · 2026-11-01
- Agent 说「任务完成」不等于真完成：验证与可观测 — goyalshaliniuk · 2026-11-01
- 模型提供智能，Harness 提供可靠：Agent 工程总结 — goyalshaliniuk · 2026-11-01
- 【源头】Agent Harness 资源合集:微软框架、Anthropic 评测与论文一览 — goyalshaliniuk · 2026-11-01