Variations in Relevance Judgments and the Shelf Life of Test Collections
Andrew Parry, Maik Fröbe, Harrisen Scells, Ferdinand Schlatt, Guglielmo Faggioli, Saber Zerhoudi, Sean MacAvaney, Eugene Yang
cs.IR
2025-02-28
八位学者重标了 TREC DL 2019 全部 43 题。四档相关性接近随机，系统名次的 Kendall τ 仍有 0.879；把标注员当作排序器，nDCG@10 的合理上限约 0.81，RankGPT 已到 0.80。
Cranfield 评测有一条老结论：标注员对单篇文档经常不同意，系统名次却大体不动。Voorhees 在 TREC-4 和 TREC-6 上测到标注重叠大约 0.4，排序的 Kendall τ 仍有 0.890。DL'19 更松。passage 查询没有 description 和 narrative，文档是 MS MARCO 里约 880 万条短段落，相关性分四档，主指标是 nDCG@10。四档也比二元判断更容易分叉。
这条榜被反复拿来迭代。仅 ECIR 2024 与 SIGIR 2024 就引用 32 次。难负例从高分模型里挖，蒸馏用高分模型当老师。Craswell 等人警告过，不要在 Deep Learning 测试集上反复调。这篇在 43 个 topic 上重标 DL'19，看名次还稳不稳，也看头部模型有没有贴住人类标注员。
官方判断当作 primary。8 位检索学者做 secondary，每个 topic 两位，四组题数 14、12、8、9，人均 1125 对。池里保留全部不低于 1 档的文档，不相关文档再为每人抽 100 篇。不相关上通常更齐，少抽对 nDCG 影响有限。标注员有原始四档定义，知道文档被标过，看不到分数和分布。查背景只用 ChatNoir 检索 ClueWeb22，后端 BM25，避免搜索引擎带出已公开的讨论。
每个 topic 三套标签，m 题理论上有 3 的 m 次方种组合。抽样后用 nDCG@10 排名，互换名次的概率落在 0 到 0.5，图 3 抽了 10000 次。和官方排序比 Kendall τ、Spearman ρ、RBO。差异用配对 t 检验加 Bonferroni，名次用 Wilcoxon。
再做三件事。判断按最大、最小、平均聚合。标注员补写 narrative，并在低、中、高一致性的题上固定 narrative 再标，把意图不同和单纯判不准拆开。标注员的排序也当成 TREC run，用官方标签计分。同档打乱，指标标准差小于 0.0001。
系统包括 ColBERT、SPLADE ED++、monoT5（base 与 3B）、蒸馏版 monoELECTRA、SetEncoder、RankZephyr，以及 GPT-4、GPT-4 Turbo、GPT-4o 的 RankGPT。前两个做一阶段，其余重排 BM25 或 ColBERT。
四档一致性接近随机。含 primary 的四组里，四档 Fleiss κ 为 0.22、0.28、0.17、0.28，二元化后为 0.44、0.40、0.31、0.37。四档重叠 0.11 到 0.19，Cohen κ 也在 0.11 到 0.19。二元重叠回到 0.45 到 0.48，和 Voorhees 大约 0.4 同一量级。两位 secondary 之间，四档重叠 0.42 到 0.63，二元重叠 0.71 到 0.89。
档位整体下移。800 篇原判不相关的文档有 13% 改档，其中 77% 只到 1 档。试点 10 题的前 10 篇里，原标完全相关占 1.5%，新标占 11.8%；高度相关从 30.8% 降到 10.8%。医学题 types of dysarthria from cerebral palsy 的 Fleiss κ 只有 0.06，一位按家属了解预后，一位按临床定义，后者几乎全判不相关。is cdg airport in main paris 的 κ 为 0.08，两人都要距离或时间。另有 9 篇从原判不相关变成完全相关。
固定 narrative 后，难题到中等题，两组 Cohen κ 提高 24% 和 46%，总体一致性提高 79%；中等到容易只再多 1%。意图写清能消掉一大块分歧，剩下的主要是标题本身怎么读。
名次仍然稳。secondary 的自然组合相对官方排序，Kendall τ 为 0.879，Spearman ρ 为 0.972，RBO 为 0.888。纳入 primary 的抽样里 τ 升到 0.897，贴近 Table 1 里 Voorhees 的 0.890。绝对 nDCG@10 普遍下降。词法系统名次变化接近 0。监督或半监督的小模型名次常升，更大的半监督模型更抗换标签。listwise 编码器整体掉名次。GPT-4o 重排 BM25 时名次显著变差，一阶段换 ColBERT 就稳。RankZephyr 训练时压过位置偏差，新判断下名次常升。
把人的档位当成排序，用官方标签计分。mean 聚合的 nDCG@10 为 0.81±0.05，min 聚合为 0.76±0.07，max 聚合为 0.79±0.05。0.81 是这篇给的合理上界。只比已标注文档：
| 方法 | nDCG@10 | P@10 | MRR@10 | R@100 |
| BM25 | 0.51±0.08 | 0.41±0.09 | 0.70±0.12 | 0.65±0.09 |
| SPLADE ED++ | 0.73±0.07 | 0.63±0.10 | 0.91±0.07 | 0.69±0.09 |
| ColBERT→RankZephyr | 0.77±0.07 | 0.70±0.09 | 0.85±0.08 | 0.67±0.09 |
| ColBERT→RankGPT-4o | 0.80±0.05 | 0.73±0.09 | 0.89±0.08 | 0.67±0.09 |
| 标注员 mean | 0.81±0.05 | 0.71±0.10 | 0.90±0.08 | 0.86±0.06 |
RankGPT-4o 的 nDCG 与人没有显著差异，P@10 略高于人的均值。召回仍落后：人的 R@100 为 0.75 到 0.86，上面几个系统停在 0.67 左右。算上未标注文档，ColBERT→RankGPT-4o 为 0.78±0.06，RankZephyr 为 0.75±0.07。单系统还没有超过 0.81 的报道，大集成不算。
τ 为 0.879 说明换一批标注员，整张榜翻不了面。会晃的是 LLM 蒸馏、再在 BM25 上做 listwise 重排的系统。GPT-4o 在弱一阶段上名次显著下滑，换成 ColBERT 就收回来。RankZephyr 压过位置偏差后，名次经常上升。
精度上界已经被贴住。只看已标注文档，ColBERT→RankGPT-4o 的 0.80 距人类 mean 的 0.81 只有 0.01，区间叠在一起。再挤一个点，很难读成检索变好。召回没贴住：R@100 人是 0.86，系统是 0.67。要找全的任务继续追 nDCG@10，方向是偏的。
训练链条会把这一种口味传下去。老师和难负例都按 DL'19 高分来选，学生学的就是官方 qrel 的解释。小蒸馏模型在新判断下更不稳，容量不够，域内也不牢。
重标注很贵。论文没有不靠人工的过期检测。
标注员就是作者。脚注认为重叠影响很小，但没有外部标注员。这批人是检索学者，不是 NIST 当年的标注员。池子来自 75 个参赛系统，44% 是神经语言模型。专业背景、标注设定和池子偏差，都混在新旧判断的差异里。
不相关只抽 100 篇，Voorhees 当年抽到 200。13% 改档，不相关上大家都同意只成立了一部分。各模型的 nDCG 掉了多少，正文没有逐模型的前后表，变差主要体现在名次图上。
43 题撑不住更细的结论。非美国标注员觉得美国中心的题难，国籍差异被留到以后。narrative 实验只覆盖低、中、高一致性的一小批题，24%、46% 和 79% 不能外推成普遍增幅。
过期是间接判断。排序相关性仍然高，被贴住的是精度上界，以及一部分 LLM 系统对官方口味的贴合。引用多证明不了半监督带偏。大集成被排除，那类系统反而最可能超过 0.81。