读 57 篇论文总结:多伦多大学称 harness 设计可造成 6 倍性能差
Marmelab · reddit · 2026-10-30
作者基于 57 篇论文与自身经验总结 agent harness(模型外层封装)工程的最佳实践。多伦多大学研究显示同一模型因 harness 不同性能差距可达 6 倍。要点:
- 从历史会话挖规律:每次纠正 agent 的地方就是缺规则/护栏的候选点。
- 删掉无法证明有效的规则:没触发过纠正的规则只是噪音,白耗 context。
- 指令文件保持简短:OpenAI 试过巨型指令文件惨败,最终缩到约 100 行,主 AGENTS.md 应像目录而非规则堆放处。
- 工具少而精:Vercel 砍掉 80% 工具后成功率从 80%→100%,token 用量减半、延迟从 724s 降到 141s;微软 reportedly 从 100 个工具砍到 5 个。
- 用脚本兜底规则:研究发现书面安全规则只有 4-16% 有实际效果,最强 harness 用 git hooks、linter、静态分析等可执行护栏强制执行。
- 定期维护:规则会过时,OpenAI 用「doc-gardening」agent 自动扫描过时文档并开修复 PR。
结论:最好的 harness 小而精、基于证据、持续修剪。
「编程与Agent」频道最新
- Claude 做 PPT 字体偏小?加一句「最小字号」提示词即可修复 — BraydonDymm · 2026-10-30
- 吐槽 coding agent 假忙碌的推文,撞上「日均 133 commits」宣传,笑翻众人 — rubenhassid · 2026-10-30
- 土耳其语坑翻 LLM 评测:"İSTANBUL".lower() 并不等于 "istanbul" — irombie · 2026-10-30
- JetBrains 开源 AI IDE「ThinkRail」:多 agent 并行编码,越用越聪明 — abhishek__AI · 2026-10-30
- 「你的 LLM 评测在骗你」:temperature 0 跑 1000 次得 80 种答案 — irombie · 2026-10-30
- 4B 小模型当审查员把关 70 倍大 Agent，仅 4% 步骤多花 9-13% 成本 — petrusenko_max · 2026-10-30