Evals 速查表:如何判断一个 AI 系统真的能干活

blaizedsouza · x · 2026-11-05

sermakarevich 发布了一张 LLM 系统 Evals 速查表(配套长文),面向所有交付/采购/签核 LLM 软件的人,从工程师到 CEO。要点:

测试输入:从真实失败案例起步,20-50 条;手写每例的"正确"标准;开发集调参、测试集只做报告
评分器分级:免费代码规则(精确匹配/规则检查/相似度仅作漂移告警)、小型模型幻觉检测器(HHEM、MiniCheck、LettuceDetect)、LLM 评审(单问题+引用证据、3 评审取中位数、注意偏爱首个/更长/自家模型家族的偏差)、人工标注作基准
校验评分器:与人工标注比 Cohen's kappa(0.6 可放行、0.8 可无人值守),报告漏报率与误杀率
诚实数字:每个比率带误差棒;60 条用例测不出小于 12 点的变化;新 prompt 赢家要在全新用例上确认
复合系统:RAG 分开评检索(hit@k)与生成忠实度;Agent 评最终状态+多轮 pass^k+单次成功成本
公共榜单:只用来选引擎初筛,5 个榜单选 2-3 个模型,最终由自建 eval 决定
日常习惯:每次提交跑代码评分器,每次改动跑 LLM 评审+人工抽检,上线后 A/B 测试

最后给出应向团队索要的 4 个数字:带误差棒的通过率、评分器与人工一致度、检测下限、最近一次改动中变差的用例占比。

「编程与Agent」频道最新