别再让 agent 凭记忆干活:AutoHarness 开源给任务自动搭工作流
Professional_Hat9893 · reddit · 2026-10-21
作者观察到 agent 做任务的通病:不看原始参照、凭记忆写、自己给自己打分,连 Opus 5.5 画《银翼杀手 2049》场景也是全凭想象就宣布完成。于是他不再修结果,而是修 agent,把每个失败原因变成一条规则,做出开源的 AutoHarness(MIT,Python,无运行时依赖):
- 拆分知识域:把任务拆成若干领域,每个领域从 skills.sh 和 MCP 注册表找技能,或让 agent 自己写技能,方法必须带来源链接而非凭记忆
- 拿原始件而非描述:真实 API 响应、数据样本、设计稿,动手前先从中量出事实
- 编辑前先写 brief:写明质量标准、约束原文、检查方式,钩子工具会锁住写工具直到 brief 完成
- 自建环境:agent 自行安装所需的 MCP 服务器、浏览器和技能,经信任评分、扫描与约束检查后才装,任务结束只卸载自己装的
- 作者不当裁判:由没参与工作的全新子代理逐项审查,视觉作品做盲测 A/B
- 修复前先学习:出现严重问题必须先改技能再重试;同一问题错三次就换方法、引入仲裁者、最后找人
- 可累积:技能、教训和可用环境配置留到下个任务
同一模型(Opus 5.5)带与不带 harness 对比,带的结果更好,视觉类任务提升最明显。兼容 Codex、Gemini CLI、Claude Code、Antigravity、Qwen Code 和 Strands。
「编程与Agent」频道最新
- AI 编程工具 OpenCode 遭供应链攻击,PHP 生态同日爆安全洞 — burny_tech · 2026-10-21
- Anthropic 发布 Claude Sonnet 5.5:终端基准 10.3% 跳至 70.6%,单任务成本降 30% — Aiden_Tech_Ai · 2026-10-21
- 独立开发者用 Opus 一次上线邮件产品 8 项功能,附送达率实数据 — marclou · 2026-10-21
- 19个月跑出6000+集无人新闻视频,靠的是eval而非模型 — jwdNyc · 2026-10-21
- 用 Grok Bot 做实体产品原型:草图到 RFQ 一条龙 — elonmusk · 2026-10-21
- 主观任务评估实操路线图:人类标注加 LLM 裁判降噪三步法 — cwolferesearch · 2026-10-21