Hamel Husain:Jev 可用于 Evals,LLM Judge 本质是分类器

HamelHusain · x · 2026-09-20

AI Evals 领域知名作者 Hamel Husain 回应「能不能用 Jev 做评测」:可以。核心观点是 LLM Judge 本身就是一个分类器,因此关键不在用哪个模型,而在方法——务必用人工标注来验证你的分类器,避免过拟合。他附上自己博客的 FAQ:为什么推荐二值(pass/fail)评测而非 1-5 打分?理由包括:相邻分值的差异主观且标注者间不一致;打分制检测统计差异需要更大样本量;标注者倾向选中间值回避艰难判断。想追踪渐进改进,可以把子指标拆成独立的二值检查(如「5 个预期事实包含 4 个」),而不是用连续量表。