别一次改所有变量：五步 Harness 工程法让 Agent 优化可测量
MaryamMiradi · x · 2026-09-16
多数人优化 AI Agent 靠一次改一堆东西然后碰运气。Maryam Miradi 主张为 Agent 建一套测试 harness，把改进变成工程问题，五步循环逐一测试：
- Parser
- Retriever
- 决策架构
- 模型
- 上下文配置
每次实验只改一个变量、其余保持不变，跑同一组测试用例，追踪整条流水线，将质量、成本、延迟、grounding 和通过率与基线对比。Harness 的价值不只是告诉你最终答案错没错，而是定位哪里坏了、衡量改动是否有效、在上线前抓住回归。她称 20 分钟就能搭出这样的测试 harness。
所属事件:Harness 工程兴起：让 AI Agent 改进可测量(4 条相关)→
「编程与Agent」频道最新
- Qwen 27B 规划调用 SAM 3：单卡 H200 同时处理 12 名患者医学影像 — MaziyarPanahi · 2026-11-02
- LangChain 开办 Agent 记忆工作坊：实战 Deep Agents 防上下文腐化 — LangChain · 2026-11-02
- VibeCoding 痛点：AI 生成 Web 工具不守设计系统、移动端交互糟糕 — lxfater · 2026-11-02
- 昆虫贴纸库开源:主 Agent 统筹绘制+独立审核的 AI 原生工作流 — AlchainHust · 2026-11-02
- 19 岁学生用 Claude Code 两天搭交易机器人，自称获利 75 万美元 — aftahi_ai · 2026-11-02
- 独立开发者用 Opus 5.5 六周独自做出超级英雄 MMO,消耗 30 亿 token — superpikapoo · 2026-11-02