工程圈热议 Harness 设计：同一模型性能差可达 6 倍

工程社区近期密集讨论 agent harness（模型外层封装系统）对 Agent 可靠性的决定性影响，核心共识是：强大的模型不等于可靠的 Agent，真正决定表现的是围绕模型的工程系统。

已确认

多伦多大学基于 57 篇论文的研究显示，同一模型因 harness 设计不同，性能差距可达 6 倍。Marmelab 作者结合这批论文与自身经验，总结了 harness 工程最佳实践，并建议从历史会话中挖掘纠正 agent 的规律。
Shalini Goyal 发长文系统总结 5 个 harness 工程技巧：构建有界控制循环（plan → act → observe → evaluate 循环加迭代上限与停止条件，防死循环与资源浪费）；工程化上下文与状态管理（只给任务相关上下文、维护工作记忆与任务进度、持久化 checkpoint 以便中断恢复）；设计安全的工具访问（最小权限、输入输出校验、敏感操作人工审批）；加入验证与评估（对照任务需求校验、完成前跑测试与独立检查、追踪真实场景成功率）；实现可观测性与恢复（记录工具调用等过程信息）。
Goyal 强调「Agent 说任务完成」不等于任务真的正确完成，必须靠独立验证确认。
Goyal 还整理了学习资源合集，包括 Microsoft Agent Framework / Agent Harness 文档、Anthropic 的 agent 评测材料及相关论文。

多伦多大学的 6 倍性能差数据说明，在模型能力既定的情况下，harness 工程是提升 Agent 表现最高杠杆的投入方向之一。
这一框架将「Agent 可靠性」从选模型问题重构为系统工程问题：模型提供智能，harness 提供结构、控制与可靠性——对团队的技术投入与组织方式都有直接指导意义。

2026-10-30 ~ 2026-11-01 · 9 条相关