同一模型同一提示词:40 行 harness 让 Opus 5.5 通过率 8/20 升至 16/20
blaizedsouza · x · 2026-11-18
转推者实测:同一模型、同一提示词、同样 20 个真实任务,只改 harness 就让 Opus 5.5 无需人工修改直接通过的任务数从 8/20 提升到 16/20。
- 失控重试循环:5 → 0
- 每个通过任务的成本:约 $4.10 → $1.60
- 每天盯梢时间:约 2 小时 → 25 分钟
具体做法只有五层:每个任务写一句「done when」完成判据、一个约 40 行的项目地图文件、一个测试门禁、重试上限 3 次、一份限定 agent 可触碰范围的规则文件。作者引用了 Anthropic 用 1000 个 Fable 5.2 agent 的发布案例,并放出完整 harness 指南(含 9 个提示词)。核心观点:加长提示词只能修五层中的一层,其余四层要靠工程化 harness 搭建。
所属事件:改造 harness 后 Opus 5.5 任务通过率翻倍(2 条相关)→
「编程与Agent」频道最新
- 曝 NSA 与华尔街高管告知国会:AI 找漏洞致修复潮压垮系统 — moyix · 2026-11-18
- Sysdig CISO:LLM 能改写约束自己的 harness,治理必须放在外部 — massimosgrelli · 2026-11-18
- shadcn 详解 agent-first 的 UI SDK:工具调用减少 50%、token 省 75% — shadcn · 2026-11-18
- Slite 复盘 50 家企业知识库:AI 已读五分之一,98.7% 未验证 — femke_plantinga · 2026-11-18
- AI 已读完知识库 20% 文档,但仅 1.3% 可信,Slite 出免费手册 — femke_plantinga · 2026-11-18
- Rust lint 工具 oxlint 周下载量破 5000 万,三周新增 1000 万 — cnakazawa · 2026-11-18