arXiv 论文：测试集会过期，神经检索已逼近人类标注员水平
bclavie · x · 2026-10-25
bclavie（平时对学术 IR 颇为挑剔）力荐 Andrew Parry 等人的论文《Variations in Relevance Judgments and the Shelf Life of Test Collections》（arXiv:2502.20937），称其为近年最有时效性的论文之一。
研究内容：
- 传统 Cranfield 式评测基于一个假设：即使标注员对单条相关性判断有分歧，系统排名仍然稳定——这在传统测试集上已被验证。
- 但神经检索时代的测试集特性变了：文档更短、四级相关性标注、信息需求缺乏描述。作者重新标注了 TREC 2019 Deep Learning track 的相关性判断，做可复现性研究。
关键发现：
- 标注员分歧仍不影响系统排名，旧结论在神经检索场景下成立。
- 但部分模型在新相关性标注下性能显著下降，有些模型已达到人类标注员作为排序者的水平——这意味着若追求最优效果而过拟合单一相关性解释，测试集可能需要设置"保质期"。
「研究」频道最新
- ASRN 新架构：线性内存长程复制，256k 长文仅 69ms — Mean-Disaster8380 · 2026-10-25
- Stieltjes 积分竟用于诊断 AI：建模 AUC 随训练样本数变化 — PTenigma · 2026-10-25
- supermimic 复现难题：开源实现普遍在 Bones Seed 处发散 — andrew_n_carr · 2026-10-25
- 权重压到 -1/0/+1:语音模型从 2.4GB 瘦身到 181MB,WER 仅升 0.4 个点 — lmoroney · 2026-10-25
- 「AI 审稿已超人类」研究遭质疑：评测主要是 GPT 在评 Claude — JessicaHullman · 2026-10-25
- Lean4AgenticRL:形式验证给 Agent RL 加过程奖励,SWE-Bench 提升 20.2% — May_F1_ · 2026-10-25