JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
Delip Rao, Chris Callison-Burch
cs.CL
2026-09-24
宾大把TypeSafe的typed classifier Jev和三款flash LLM放在同一套评分标尺上比了5003对样本。27组对照里只有8组准确率显著不同，LLM贵29到325倍；相关错误让级联最多再涨1.5分。
用大模型按评分标尺（rubric）逐条打分，已经是评测和强化学习奖励的常规做法。AutoRubric这类按条调用的系统，每条标准都要打一次LLM，费用随「样本数×标准数」往上走。宾大这篇问的是：一个不生成文字、只对固定选项输出概率的typed classifier，能不能替掉flash档LLM判官。
他们拿TypeSafe的Jev（标价每百万输入token 0.042美元，输出免费）去对GPT-5.6 Luna、Gemini 3.8 Flash、DeepSeek V4.1 Flash。九个panel、七个公开基准，一共5003个（样本，标准）对。所有判官读同一套事先写好、不含示例的标准文本。两个panel是二元清单（RiceChem化学长答、HealthBench医生共识），另外七个是有序等级。
Jev一次请求带走一个样本的全部标准，正文只计一次费。三种读法：Noul给出「是」的概率，Choice对选项取argmax，Score对有序等级取期望再就近取整。主对照用Jev Choice，和三个LLM走同一套选项。LLM每条标准单独调用，选项顺序打乱；温度除Luna被接口锁在1.0外都是0。
准确率用精确匹配；有序题再报二次加权kappa（QWK）和偏移（预测等级减标注等级）。两组判官的差异按样本做10000次bootstrap：95%区间不含0叫分离，90%区间落在±5分内叫等价。级联和陪审团都是事后回放已记录的判决，没有再调模型。
27组配对里只有8组准确率显著不同。Jev的领先多半落在二元panel：RiceChem上81.0%，三个LLM是76.1%到79.2%。HealthBench上Jev 77.1%，Gemini 79.6%最高。等级题上Jev Choice从未拿过第一，Gemini在多数panel最强。ELLIPSE二语作文上Gemini精确匹配29.8%，Jev 13.4%，评分员参照51.4%。HelpSteer2上「每条属性猜最常见等级」的常数预测器就有60.0%，四个判官都没打过它。
九个panel合计，Jev Choice花了0.063美元、29秒。Luna贵29倍、慢30倍；DeepSeek贵66倍、慢220倍；Gemini贵325倍、慢33倍。单panel倍率从Luna在HealthBench的18倍，到Gemini在FED-Dialogue的770倍。
四个匹配判官在每个等级panel上彼此的QWK都高于他们和人工标注的QWK。35条等级标准里，25条上四个判官的偏移全是负的。ELLIPSE上Jev把86.1%的预测打在标注下方，把等级整体上移一档后精确匹配从13.4%升到50.4%，接近评分员参照。标注把36.3%的对放在4、5档，没有任何判官超过4.2%。
Jev的置信度在多数等级panel上能给自己的对错排序（AUROC 0.57到0.70），ELLIPSE是例外（0.49）。但LLM会复读Jev的错：最自信的那批错误上，三个LLM有96.0%（252次判决里242次）给出同一个错答案，独立错误基线约50.3%。事后级联用交叉拟合阈值，相对该panel最佳单判官最多涨1.5分（HealthBench），六个panel还低于最佳单判官；即便用先知阈值最多也只涨2.0分。三判官取中位数在九个panel上都没打过最强的那一个。
| 对照 | 数字 |
| 显著不同的配对 | 8 / 27 |
| Gemini总费用倍率 | 325×（9个panel合计20.59美元 vs 0.063美元） |
| 级联交叉拟合最大增益 | +1.5（HealthBench） |
| 最自信错误被LLM复读 | 96.0% vs 独立基线50.3% |
如果你在二元清单上跑flash档LLM判官，Jev值得直接换：RiceChem上它就是最准的，费用掉一到两个数量级。等级量表上它更接近「便宜的同类」，替代不了最强的那只flash模型。真正要带走的是测量学结论：给判官同一段标准文本，它们会一起偏离人工，而且偏离主要是位置（打分整体偏低），排序大体还在。相关错误同时解释了级联为什么能省钱、为什么几乎涨不了分。想贴近人工，先改标准文本（示例、可观察的档位描述、人口常模），再堆更多读同一段文字的判官。
作者写得很清楚：没有做改写标准或加示例的干预实验，「评分员惯例」只是观测解释，和共享训练先验分不开。LLM全是flash档零样本，没测更大模型或few-shot，所以测的不是「最好的LLM判官」。等级panel是10%或20%抽样，每条标准只有25到258个样本。作者自己的rubric版本和原始评分员读到的说明并不相同，只在ELLIPSE上对过原文。HelpSteer2的correctness和overall helpfulness的Pearson相关达到0.94，LFQA只看答案是不是ChatGPT写的就能到68.1%精确匹配。只测了一个typed classifier，模型名没有日期快照。级联增益来自事后回放。