从 100 条生产 traces 起步：七步搭建贴合真实故障的 AI evals
HamelHusain · x · 2026-11-06
转引一条实操建议并链接 Hamel Husain 与 Shreya Shankar 的 AI Evals FAQ（培训过 5000+ 工程师与 PM 后整理的常见问题集）。
没有测试集但有 traces 时如何起步：
- 拉取最近 100 条生产环境 traces
- 通读并用大白话记下哪里出了问题
- 把笔记归类成故障类型
- 统计每类数量
- 为前三类写 pass/fail 检查
- 将检查结果与人工标注对比
- 每发现新故障就加入数据集
核心观点：通用指标看起来健康时，用户真正在乎的东西可能已经坏了；目标是让测试集长得像你的真实故障。FAQ 覆盖最小可行 eval 设置、预算分配、主观/多步输出的评估、成本控制等问题。
「编程与Agent」频道最新
- YC 总裁实测 Capy：子智能体协同让 PR 产出暴涨 13 倍 — garrytan · 2026-11-06
- GitHub Copilot 全景：跨仓库任务、并行 agent 与桌面客户端 — 0xkarasy · 2026-11-06
- Stripe 开放 MCP:用自然语言让 Claude/Cursor 直接查账出报表 — emilygsands · 2026-11-06
- Stripe 开放 MCP 数据接入：用大白话查询、看板与财报分析 — emilygsands · 2026-11-06
- Stripe 正式开放 MCP：Claude、Cursor 可直连企业 Stripe 数据 — emilygsands · 2026-11-06
- 作者自用一年后开源 Intent:用工作区而非聊天线程来写代码 — Wattenberger · 2026-11-06