Jev超0.9的DL21对子仅66%真相关,两点校准可迁移

Beyond Ranking: Are Decision Models Calibrated Relevance Scorers?

Shengyao Zhuang, Xueguang Ma, Matthias Petri, Jimmy Lin

cs.IR

2026-11-09

Jev在DL21上打分超过0.9的对子仅66%真相关;用DL19做两点校准后,Brier从0.213降到0.147。

这篇在解决什么

重排留下的通常是名次或标签,旁边的概率很少对上人工评估员。token 概率和口头报出的置信,经常偏离真实比例。

2026 年 9 月 TypeSafe 发布 Jev 这类 decision model:不生成文本,输入带类型的问题、一组有序选项和一段状态,直接返回每个选项的概率。厂商承诺这些概率已校准。发布后几周它就被用作重排器,以及 RAG 里的证据筛选。已有的独立检查比的是排序,或者是 SciFact、XQuAD 的二元标签,没有对上 TREC 的分级人工标注。

Beyond Yes and No 已经表明,zero-shot 的 pointwise 重排(每篇单独打分)里,细粒度标签优于二元标签,标签似然优于生成出的标签,超过三四档后增益变平,并把「概率能否对上评估员」留作后续。Jev 的 score 接口正好吃同一组有序等级。这篇复现那组实验,再测校准,以及校准后的概率能做的截断决定。

方法

候选统一是 BM25 的 top-100,每篇文档单独打分。

FLAN-UL2 沿用原文的 RG-kL 提示:给出 k 个文本等级,四档从 Not Relevant 到 Perfectly Relevant。对各等级算不含 EOS 的对数似然,softmax 后按等级序号加权,得到期望相关性 ER,用它排序。

Jev(typesafe/jev-1.13-20260917)收到同一指令和等级,查询与文档放在 state 里,一次请求直接返回各等级概率。Clef-flash 9B 与 pplx-decider-v1.1 27B 走同一接口。Cross-encoder 为 MiniLM-L6、bge-reranker-v2-m3、monoT5-3B。标题加正文截到 256 个 FLAN-UL2 token。

排序用原文八个 BEIR 集合。校准只用有人工标注的 TREC 对:DL19、DL20、DL21 分别为 2257、2859、2786 对。相关定义为档位 ≥ 2。原生概率是四档分布中档位 ≥ 2 的概率之和;cross-encoder 对 logit 做 sigmoid。

Platt scaling 拟合 p′ = σ(ax+b)。斜率 a 拉开或压扁分布,截距 b 整体平移,只在 DL19 上最大似然估计,再原样套到新年份、新语料的 DL21。映射单调,不改变排序。

截断决定每条查询留几篇。校准概率估出前 k 篇和全部候选的期望相关数,代入 F1 选最大深度。新文档的概率要超过这个期望 F1 的一半才留下,因此不用再调阈值。提问用 TREC 四档定义,并写明 Related 不算 relevant。

结果

三个排序结论方向成立,绝对分偏低。FLAN-UL2 的八集平均 nDCG@10(前十名排序质量),RG-2L 为 0.436(原文 0.459),RG-3L 为 0.474(0.485),RG-4L 为 0.480(0.489)。细档比二元高 0.038 到 0.049,四档只比三档再高 0.006。绝对分低 0.005 到 0.024,截断改成 512 token 也填不平:SciFact 的 RG-2L 从 0.482 变成 0.473,原文 0.563。TREC-COVID 上 5000 对里有 4793 对生成了最低档,生成排序几乎全是平局。

方法八集平均 nDCG@10
pplx-decider RG-3L0.548
Jev RG-2L0.528
Jev RG-3L0.520
Clef-flash RG-3L0.502
FLAN-UL2 RG-3L0.474

Jev 三档领先 MiniLM 0.050、bge 0.034、FLAN-UL2 0.046,领先 monoT5-3B 只有 0.014,八集里赢四集。pplx-decider 三档八集全部高于 Jev,平均高 0.028。Clef-flash 每集都更低,平均低 0.018。二档换三档,FLAN-UL2 加 0.038,两个开源模型约加 0.006,Jev 掉 0.008;平局改随机拆开,这个下跌变成上涨 0.011。

没有模型的原生概率对得上评估员。DL21 上,Jev 打分超过 0.9 的对子只有 66% 真相关,FLAN-UL2 为 64%,MiniLM 为 42%。Jev 会打出精确的 0 和 1,2786 对里有 1006 对,158 对方向错误,原生 log loss(对数损失)达到 1.315,差于 FLAN-UL2 的 0.783。Clef-flash 与 pplx-decider 的原生 log loss 是 0.596 和 0.611。

DL19 上的两点映射能迁到 DL21。Jev 的 Brier(概率与 0/1 标签的均方误差)从 0.213 降到 0.147,log loss 从 1.315 降到 0.478,ECE(分桶校准误差)从 0.211 降到 0.100。

模型Brier 原生校准后log loss 校准后AUC
pplx-decider0.1920.1440.4470.878
Jev0.2130.1470.4780.861
FLAN-UL20.2370.1710.5140.831
Clef-flash0.2020.1720.5190.836
bge-reranker-v2-m30.2800.1770.5230.811
MiniLM-L60.4760.1880.5540.766
monoT5-3B0.3270.1930.5570.823

Jev 对 FLAN-UL2 的配对 Brier 差为 -0.023,对 MiniLM 为 -0.041,log loss 的 -0.036 不显著。校准后 ECE 大多在 0.094 到 0.124,刻度接近,拉开差距的是校准改不了的 AUC(排序分辨力)。pplx 与 Jev 的差距不显著。Clef-flash 在 DL20 的校准后 Brier 为 0.119,对得上 Jev 的 0.123,到 DL21 掉到 0.172,与 FLAN-UL2 的 0.171 持平。DL20 上 bge 与 Jev 的 Brier 差只有 +0.005。

换到四个 BEIR 集合,同一映射把 Jev 的平均 log loss 从 1.044 降到 0.654,平均 Brier 却从 0.197 升到 0.214。四个集合里只有 monoT5 的 Brier 全部变好,TREC-COVID 上其余模型都变差。问法主要影响刻度:改用原文二档问题,Jev 原生 Brier 从 0.213 升到 0.322,各自校准后为 0.147 和 0.156。另六种措辞校准后都落在评估员问法的 +0.006 以内。

期望 F1 截断在 DL21 上,pplx-decider 为 0.658,Jev 为 0.638,cross-encoder 最高 0.566。Jev 的固定 top-10 只有 0.506,DL19 调出的阈值是 0.630,oracle 是 0.778。校准把 Jev 的平均深度从 28.6 降到 26.1。七个模型里五个不低于调好的阈值,MiniLM 和 monoT5 除外。

为什么重要

排序分不知道一条查询该停在第几名。RAG 多送一段就多占上下文,无关段落还会干扰生成。期望 F1 让深度随查询变化。Jev 上它打平单独调阈值的 0.630,也明显高于固定前 10 的 0.506。

这是测量上的改进,不是新的排序架构。27B 的 pplx-decider 在八个集合上的排序,以及 DL21 校准后的概率,都与 Jev 同一档,收益不绑在闭源接口上。9B 的 Clef-flash 换到 DL21,校准后的 Brier 回到 FLAN-UL2。细档对决策模型几乎不加分。

局限与存疑

厂商承诺的原生校准不成立。修完尺度后,DL21 高分区仍然偏乐观。DL19 的映射离开这批网页语料之后,log loss 下降,Brier 可升可降,不能当通用校准器。

绝对 nDCG 没对齐原文,加长输入也解释不了。预处理、提示排版、checkpoint 和精度都没写清。bge 与 monoT5 是看过前三个模型的 DL21 之后补上的;评估前没看它们自己的 DL21 预测,模型选择已经碰到测试年。

F1 先删掉未标注文档再截断,比真实检索乐观,离 oracle 的 0.778 还差一截。相关被压成档位 ≥ 2,分级信息没有进入概率指标。Jev 取单次请求,300 对重抽三次,事件概率平均只动 0.010,但版本钉在 2026-09-17。开源模型没做 BEIR 校准。

术语

原文与代码

社区讨论

相关论文

全部论文解读