自动化评测工具到底好不好用
HamelHusain · x · 2026-07-14
Hamel Husain 分享了一篇新博客，主题是：自动化 eval 到底有没有用。作者团队用真实生产数据测试了一批会自动查看 traces 的 AI 工具，结论比较务实。
这些工具的优势
- 能发现人类容易漏掉的问题
- 能直接接入现有工作流，例如查看 traces、生成 LLM judge 等
这些工具的局限
- 对需要领域知识和“品味”的问题，容易漏判
- 很少有机制能真正从人工反馈中持续学习
- 某些场景下，用你自己的 coding agent 也能得到差不多的效果
建议
不是完全不用，而是迭代式使用，并且始终把人放在回路里。作者还提到，把 coding agent 也纳入“人类在回路中”的评测流程，是值得尝试的做法。
所属事件:实测显示自动化AI评估工具能有效发现遗漏问题(3 条相关)→
「编程与Agent」频道最新
- 拆解两款真实「公司大脑」：Slite 与 Gorgias 同台对比构建之道 — femke_plantinga · 2026-09-11
- 浏览器主线程很贵:动画卡顿的真正成本与前端优化实践 — jh3yy · 2026-09-11
- 开源工具 Claude Unlimited：多账号轮换让 Claude Code 会话不断线 — Similar_Injury_6739 · 2026-09-11
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11