别再盯幻觉率了：一图流讲透 AI 产品的错误分析与 eval 指标选法
PawelHuryn · x · 2026-11-12
Paweł Huryn 分享 AI 产品评估方法论（配图为一图流）：泛化指标如「幻觉率」「毒性」容易漏掉领域特定问题，顶尖团队的做法是从数据出发、让应用专属指标自下而上涌现。
核心是错误分析（错误分析是 ROI 最高的 AI 工程活动）：
- 分析 LLM traces（完整执行记录：查询、输入、推理、工具调用、输出），循环「新增 traces → 开放式编码记录问题 → 聚类提炼失败模式 → 用失败模式重新标注」，直到理论饱和；经验值约需 100 条高质量多样化 traces。
- 可选生成合成 traces，但必须先有「产品会在哪失败」的假设，并经人工审核去重。
- 有了失败模式清单后再建自动化 eval，每条 eval 只评单一指标；evaluator 分两类：代码型（Python 写的确定性检查，快而便宜）和 LLM-as-Judge（处理复杂/主观检查，宜窄不宜宽）。
- 关键对齐指标：TPR（真阳性率）和 TNR（真阴性率）。
「编程与Agent」频道最新
- NetBird 路由 peer 方案:无需在每台服务器装客户端即可安全远程访问 — philipvollet · 2026-11-13
- 实测 Gemini Decision API：让 AI 自动编排设计软件里的决策路径 — huangyun_122 · 2026-11-13
- 求一行安装命令，AI 编码助手却回了一段带校验的完整脚本 — gethackteam · 2026-11-13
- 新基准 Company Agent Bench 发布：对比 Dots、Grok Bot、Claude Tag、Devin — philhchen · 2026-11-13
- 「Fable 5.2」空文件夹起家:千个子 Agent 八天造出能开机的操作系统 — ChrisGPT · 2026-11-13
- 三台笔记本同时跑 Claude Code 和 Codex,开发者晒并行 Agent 工作流 — AIandDesign · 2026-11-13