JEV-as-a-Judge: Accept When Confident, Escalate When Unsure
Yubo Li, Yidi Miao, Ramayya Krishnan, Rema Padman
cs.AI
2026-09-22
卡内基梅隆对比决策式裁判 JEV 与 16 个生成式裁判：普通偏好距 GPT-6 仅 1.3 点，费用约千次 4.4 美分；冻结级联保住约 99% 精度。
用大模型当裁判（LLM-as-a-judge）已经能覆盖偏好、事实性和正确性，但规模一上来就撞上两件事：推理账单，以及这次判决能不能信。推理模型把思维链拉长，难样本可能变准，简单题也会被过度计算；口头报出的置信度又常常偏高。
卡内基梅隆这组实验问得更窄：一个只吐标签和标签概率、不写理由的决策式裁判，能不能当廉价第一关，并把吃不准的样本交给更强的生成式裁判。他们测的是 TypeSafe 托管服务 JEV 1.13.0。实现不公开，比较的是整套配置，不是算力对齐的架构对照。
JEV 吃结构化输入和自然语言指令，按指定类型返回 Choice / Noul / Score 三类概率。主实验每次只问一个 Choice 题。原生置信度与最大标签概率的 Spearman 相关，在 RewardBench、JudgeBench、HaluEval 上分别是 0.971、0.999、0.948，所以实验里一律用最大标签概率 q 做置信、纠错检测和升级门。
对照共 17 套：JEV，GPT-4.1 mini 到 GPT-6 Astra，Groq 上的 GPT-OSS 120B 与 Qwen3.6/3.8 27B，Claude Sonnet 5，Gemini 3 Flash 与 3.1 Pro，本地 Qwen3-32B / Qwen3.5-27B，以及 PairRM 和 Skywork-Reward-V2-Qwen3-8B。生成式裁判拿到同一套指令，也被要求只给判决和概率、不写理由。无效输出一律记错。
公开任务包括 RewardBench 400 对、JudgeBench 完整 350 对 GPT-4o 分册、HaluEval 240 条有证据判断，加上 150 条已有回复的最终答案裁定。642 条试点冻结后按源问题 40/60 切开：选择集只拟合温度和路由阈值，扩展集 670 条在看试点精度前冻结。级联对偏好对做双向询问，把对齐后的概率取平均；阈值在 96 对选择集上预先定死，要求覆盖尽量高、精度掉出后备不超过 2 点。
费用按采集时牌价：JEV 每百万输入 token 0.042 美元、输出免费。时延来自单独的 120 次隔离面板，不是批量质量跑。
普通偏好和有证据的事实性，JEV 贴着最强对照。RewardBench 上 92.2% 对 GPT-6 的 93.5%，配对差 -1.25 点（95% 簇区间 [-3.8, 1.5]）；HaluEval 上 87.5% 对 86.7%。团队盲审双方对错不一致的条目后，人类更站 GPT-6：RewardBench 29 条分歧里 17 条给 GPT-6、5 条给 JEV，人工差变成 -3.0 点。HaluEval 两边都「判错」的 26 条里，有 24 条证据撑不住原标签；改标后 JEV 95.8%、GPT-6 98.3%。能站住的结论是：这两类任务上，JEV 距 GPT-6 不超过 3 点。
困难正确性把差距拉开。JudgeBench 上 JEV 78.6%，GPT-5.6 与 GPT-6 都是 93.1%，差 -14.6 点。推理子集 68.4% 对 95.9%（n=98），代码 76.2% 对 97.6%（n=42）。盲审 69 条分歧里 57 条站 GPT-6、1 条站 JEV。RM-Bench 上，答案风格一致时 JEV 84.0%，被拒答案写得更花时掉到 74.8%；GPT-6 从 93.3% 升到 94.6%，硬对上差 -19.8 点。无参照的自然散文上，JEV、GPT-4.1 mini、GPT-5.4 分别 52.5%、53.8%、55.0%，接近随机还都很自信。
| 裁判 | RewardBench (400) | JudgeBench (350) | HaluEval (240) |
| JEV 1.13 | 92.2 | 78.6 | 87.5 |
| GPT-6 Astra | 93.5 | 93.1 | 86.7 |
| GPT-5.6 Sol | 93.2 | 93.1 | 89.2 |
| Gemini 3.1 Pro | 94.5 | 87.4 | 87.1 |
| Skywork-Reward-V2 | 94.0 | 71.1 | — |
隔离面板上 JEV 中位时延 0.152 秒、每千次 0.044 美元；GPT-4.1 mini 是 0.548 秒和 0.390 美元；GPT-6 是 1.885 秒和 12.182 美元。相对 GPT-6，费用大约是 0.36%，时延大约是十二分之一。
置信把错误排了序。q<0.6 的 65 条 JEV 只对 47.7%；q=1 的 322 条对 99.1%。q≥0.9 时两边几乎可互换（95.8% 对 96.5%）；该升级的那些条目上 GPT-6 领先 15 点。事后单序级联在 τ=0.9 升级 34% 样本，总分 91.3% 对 GPT-6 的 91.7%，费用约 47%。预先冻结的双向策略更干净：对 GPT-6、阈值 0.9，在 510 对扩展偏好上接受 53.7%，级联 92.5% 对 93.1%，费用比 0.568。
这是一份操作说明书，不是新路由算法。偏好、有证据事实性、最终答案裁定，可以先走 JEV；要核对多步推导，或要挡住写得很花的错答案，就该升级。无参照散文目前所有被测裁判都近乎瞎猜，别指望置信度救命。
落地清单很短：偏好对双边问、本地选阈值再在留出集复核、无效输出记错、置信当升级信号不当合格证。阈值并不能对每个后备模型都迁移。GPT-5.6 那条 τ=0.7 的策略接受了 81%，却掉了 2.35 点，超过预先设的 2 点容忍。
测的是一个专有版本对一组选定配置。训练污染未知。多模型对照是看过试点结果之后扩出来的，属探索性分析。人类盲审只有一名作者、只覆盖 183 条裁判分歧，不是对基准的随机审计；RewardBench 上人机 κ 只有 0.29。级联费用是离线模拟，没有真实串行时延。风格对抗对上，q 落在 [0.9, 0.95) 仍有约三分之一判错，τ=0.9 只能保住 GPT-6 精度的 96.5%。