自动化评估到底有没有用？一组 LLM 工具在 trace 上的对比
HamelHusain · x · 2026-07-24
这条内容讨论的是 自动化评估到底靠不靠谱：作者和合作者用多个基于 LLM 的工具，在应用 trace 里识别失败案例，再拿领域专家标注作对照。
配图给出了一组系统对比，指标包括 recall、precision、发现问题数和误报数，重点呈现的是“抓得更多”和“误报更少”之间的权衡。
- Braintrust Loop：召回率 87.2%，精确率 79.1%，发现 20 个问题，9 个误报
- Arize AX Alyx：召回率 74.4%，精确率 91.0%，发现 19 个问题，3 个误报
- LangSmith (chat agent)：召回率 79.5%，精确率 77.5%，发现 20 个问题，9 个误报
- Codex (GPT-5.5 High)：召回率 84.6%，精确率 82.8%，发现 20 个问题，11 个误报
- Factory Droid (GPT-5.5 High)：召回率 84.6%，精确率 83.3%，发现 17 个问题，10 个误报
- Claude Code (Claude Opus 4.8)：召回率 79.5%，精确率 77.4%，发现 17 个问题，14 个误报
「编程与Agent」频道最新
- Agent Field Kit 上线：为生产级 Agent 提供 $29 起的安全应急手册 — alvelda · 2026-10-27
- 用去审查版 GLM 绕开 Claude 拒答： SS7 威胁建模工作流 — l4rz · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- GitHub Next 发布 Chopin:实时多人的 Agent 协作规划环境原型 — max__drake · 2026-10-27
- 开源项目 Veynod：给 AI 智能体搭一个共享协作工作区 — TKOWNS · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27