行为 harness 实测：便宜模型加护栏可省 33% 成本
blaizedsouza · x · 2026-10-14
Martin Fowler 转发的 Naresh Jain 实验：用同一个 API 服务构建任务对比编码 agent 有无 behavioral harness 的表现。
- 前沿模型 GPT-6 Sol 无论有无 harness 都 10/10 通过外部评测；但加 harness 后 token 用量约 10.5 倍、耗时近 3 倍、成本约 7 倍。
- 成本优化模型 GPT-6 Luna 无 harness 仅 3/10 成功，有 harness 则 10/10 全过，且单次成本 $0.273，比 Sol 的 $0.406 便宜 33%。
结论：behavioral harness（架构契约 + 确定性测试反馈的内循环 + 评测外循环）可能是让小型、低成本模型产出可靠结果的实用路径，但对强模型反而增加开销、收益甚微。
「编程与Agent」频道最新
- DHH 的 Omarchy 装上老 ThinkPad，AI 圈 Arch 发行版火起来了 — chrismatthieu · 2026-10-14
- Sentry CEO 谈 Claude Code projects:长任务智能体的正确方向 — zeeg · 2026-10-14
- elder_plinius 发布 V3R1T4S:用闲置算力攻克开放问题,一切需可验证 — Kyrannio · 2026-10-14
- Regents 公开全套技术栈:Elixir+Privy 承载个人 WebMCP 智能体 — seanwbren · 2026-10-14
- AI Engineer 纽约大会 167 场议程:AI 代码验证成焦点话题 — addyosmani · 2026-10-14
- Winamp 皮肤回来了:t3 code 推出 agent 可写的主题系统 v2 — NERDDISCO · 2026-10-14