同一模型换个 harness:Opus 5.5 通过任务从 8/20 提升到 16/20
Arindam_1729 · x · 2026-11-17
开发者 Arindam 分享:同样的模型、同样的 prompt、同样的 20 个真实任务,仅用一个周末改造 agent harness,Opus 5.5 的任务通过数就从 8/20 提升到 16/20。
关键数据:
- 重试循环从 5 次降到 0
- 每个通过任务的成本从 $4.10 降到 $1.60
- 每日人工看护时间从 2 小时缩到 25 分钟
改动点:一个「完成即止」条件(done-when condition)、一份 40 行的地图文件、一道测试门禁、3 次重试上限,以及明确划定 agent 可触碰范围的规则。作者指出,加长 prompt 只能修复其中一层,另外四层都要围绕模型专门搭建,细节见其配套指南文章(另有关于 proactive agents 的长文)。
「编程与Agent」频道最新
- harness-hub 发布首个 harness 适配器,RL 训练编码 agent 效率 — yb2698 · 2026-11-17
- Pi 适配器 LoRA 可在 vLLM/llama.cpp/MLX 等任意平台运行 — yb2698 · 2026-11-17
- Pi harness 适配器 RL 训练实测:SWE-bench Pro 29.4%→62.7%,工具调用省 55% — yb2698 · 2026-11-17
- 实例对比:基座模型 100 步卡死的任务,Pi 适配器 8 次调用解决 — yb2698 · 2026-11-17
- 识别约束解码端点的土办法:函数调用吞吐量骤降 17%-90% — remilouf · 2026-11-17
- 用 Claude Computer Use 当 IT 技工:7 条 prompt 给电脑提速 — TawohAwa · 2026-11-17