实测：行为 Harness 让小模型可靠性追平旗舰，成本低 33%
bibryam · x · 2026-10-16
ThoughtWorks 发布实验文章《Are Harnesses Worth the Cost?》，让编码智能体在有无行为 harness（行为内循环 + 评测外循环，含 178 项自动验收测试）两种条件下构建同一个 API 服务：
- 前沿模型 GPT-6 Sol：不挂 harness 也能 10/10 全通过，加 harness 后 token 用量约 10.5 倍、耗时近 3 倍、成本约 7 倍，结果毫无提升——更强的 harness 不总是更好
- 成本优化模型 GPT-6 Luna：不挂 harness 仅 3/10 成功，挂上后 10/10 全过，且单次成本比 Sol 低 33%（$0.273 vs $0.406）
作者将 harness 的作用概括为「可执行的注意力」：通过 AGENTS.md、架构契约、API 规格与确定性测试反馈，把小模型的不可靠输出约束成可依赖的结果。结论：harness 的正确形态取决于模型与任务，对成本敏感场景，harness + 小模型可能是性价比更高的可靠方案。
「编程与Agent」频道最新
- Geoffrey Huntley 开源自托管 AI 开发平台 Overalls,11 月初纽约发布 — kieranklaassen · 2026-10-16
- x401 协议用 NIST 认证凭证给 AI 智能体做 KYC 身份验证 — csuwildcat · 2026-10-16
- Pydantic HTTPX2 原生支持 WebSocket 与 SSE,兼容 HTTPX 用法 — samuelcolvin · 2026-10-16
- 开发者用 ModelDeck 在 iPhone 上遥控自家电脑的编码 Agent — EAccelerate_42 · 2026-10-16
- 开源 Buddy 让 Claude Code 操控安卓手机,作者分享五条踩坑教训 — 3amae404 · 2026-10-16
- DeepMind 四个 Gemini Agent 27小时14分钟自主通关 Minecraft — omarsar0 · 2026-10-16