Rubric-Calibrated Preferences: Cross-Query Calibration of LLM Judgments via Item Response Theory
Fabian David Schmidt, Donato Crisostomi, Carlos Lassance, Nils Reimers
cs.IR
2026-09-29
Cohere提出RCP:列表锦标赛加五条量规,经IRT把各查询LLM偏好放到同一尺度。对人评,查询均值相关从0.538升至0.795,185次分裂对决中72.4%更贴近人。
Reranker 决定用户和 LLM 先看到哪些文档。标准指标 nDCG 靠人工相关性标签 qrel,贵、稀、吵,还是离散档。14 个 reranker 越打越近,尺子就越分不开它们:NanoBEIR 上 45.6% 的查询、BRIGHT 上 30.7% 的查询会出现饱和(全员 1.0)、触底(全员 0)或压缩(半数以上两两打平)。
LLM 评委能给密标签。查询内相对比较分得开接近的文档,但跨查询没有公共尺子;绝对打分有尺子,档太粗。缺的是把细排序和跨查询可比接到同一套分数上。
Cohere 的 Rubric-Calibrated Preferences(RCP)把文档当考生,把量规里的是非题当考题,用项目反应理论(IRT)打到同一能力轴。
主 judge 为 Qwen3.5-397B-NVFP4,GPT-OSS-120B 在 NanoBEIR、BRIGHT、TREC-DL 复跑。TREC-DL 主结果用 Qwen3.6-27B。池子是 Embed v4、Octen-Embedding-8B 与 BM25 的 RRF top-150,漏掉的正例补进池底。评测覆盖 NanoBEIR 13 个数据集(649 查询)、BRIGHT 12 项任务(1366 查询)、ViDoRe v3 八个语料(2419 题)和 TREC-DL 2019/2020(43/54 查询),14 个 reranker、六个家族。
46 名外部标注员盲评 311 场对决、2268 篇文档、7080 个分数,另加 TREC-DL 的 NIST 档。标注员看不到系统名、列表归属和分数。
| 对照 | 指标 | RCP | 基线 |
| 查询均值对人打分 | Spearman ρ | 0.795 | 原始 BT 0.538 |
| 有用对无用文档 | AUC | 0.910 | qrel 0.651 |
| 恰好一个指标跟人一致 | 185 场占比 | 72.4% | 机会约 53% |
| NanoBEIR 91 对 reranker | 配对 t 检验分开比例 | 63.5% | qrel-nDCG 34.1% |
2PL 对 judge 自己 486,750 条是非回答的 ECE 为 0.017,原始 BT 套 sigmoid 为 0.371;对人打分 ECE 为 0.054。池化 Spearman 从 0.641-0.693 升到 0.753-0.830,接近另一独立标注面板的 0.773。
排行榜会翻。NanoBEIR 的 qrel-nDCG@10 上,Qwen3-Reranker-8B 和 Contextual v2 6B 以 74.7、74.5 排前,三个 ZeroEntropy 模型垫底(66.5-67.0)。RCP-nDCG@10 下 zerank-2、zerank-1 以 87.2、87.1 升到第 1、第 2,原榜首掉到第 9。Zerank 用 LLM ensemble 偏好训练,有 judge 偏心嫌疑。去掉 zerank 后 RCP 仍在 68.1% 的分裂场次跟人一致;两指标打架的 66 场 zerank 对决里,标注员站 zerank 一侧 78.8%。TREC-DL 上 NIST 显著分开的每一对,两个 judge 的 RCP-nDCG 都站 NIST 赢家。分差 ≥0.20 时 RCP 与人判一致率 96.8%,qrel-nDCG 为 53.1%。
只向量规的 Count-nDCG 分开的对数与 RCP 接近,跨查询区分度主要来自量规。三个盲 LLM judge 在有偏好的查询里,80.6% 到 98.8% 更喜欢 RCP 的理想 top-10,锦标赛用来拆开量规打平的文档。无正标签文档中 27.8% 被判有用,有正标签中 37.5% 被判没用。三个其他家族的盲 LLM judge 在能做决定的查询里,77.9%(NanoBEIR)和 87.8%(BRIGHT)更喜欢 RCP 的正例集合。
这是评测方法,不是新 reranker。池子标一次就能给后来模型打连续分,代码和判断已公开。nDCG 大面积打平时,RCP-nDCG 能拆开,且方向更接近人。TREC-DL 单查询约 3.72 美元(Qwen3.6-27B);砍到一半判断量,榜 Kendall 相关仍 0.987,未翻转全量下已显著分开的系统对。
换尺子会让吃 LLM 偏好信号的模型看起来强很多。用 RCP 当训练信号的模型,应拿到别的标签上测。共享量规能否校准 Arena 或当连续奖励,论文只点到,没有实验。
增益和标注都是逐篇打分,不罚冗余。HotpotQA 这类需要主辅事实的查询,重复讲主事实的文档可能压过带辅事实的那篇。测的是感知相关,不是事实正确。
标注题干按设计接近量规措辞,文档级和对决级共用同一批标注。NIST 档与这批标注无交集,是更干净的外证。两名标注员对同一篇相差不超过一档的比例为 77.8%,Krippendorff α 仅 0.571。RCP-nDCG@5 分差小于 0.02 时,跟人一致率 47.2%,应读成平局。人工对决过采样了两指标意见相反的场次。
分数只在同一次拟合内可比,池外文档要重判并重拟合。Stage A 的不确定性未传入 IRT。量规在 15 条 NanoBEIR 查询、每查询 20 篇上调过,约占池文档 0.3%。人工研究排除了 NanoSCIDOCS 和 BRIGHT 的代码、定理任务。Cohere 同时卖 Rerank 4 Pro、Rerank 4 Fast 和 Embed v4,三者都进了实验。