Cohere 用项目反应理论校准 LLM 评判，跨查询相关性打分相关性升至 0.795
_reachsumit · x · 2026-09-29
Cohere 团队（Schmidt 等）的 arXiv 论文提出 Rubric-Calibrated Preferences（RCP），解决 LLM 评判给 reranker 打分时「同一查询内可比、跨查询不可比」的问题。
- 痛点：nDCG 依赖昂贵稀疏且离散的人工标签；reranker 质量接近时难以区分。相对判断能分辨同查询内候选，但跨查询不同尺度；绝对分级尺度统一但太粗；
- 方法：用 listwise Bradley-Terry 锦标赛排序每个查询的文档，用由严到松的 yes/no 评分 rubric 提供绝对标准，再借 项目反应理论（IRT） 把所有查询的锦标赛分放到同一尺度；
- 效果：对比 46 名外部标注者的盲评，查询均分与人工均分的相关性从 0.538 提升到 0.795；有用文档排在无用文档之前的概率达 0.910（AUC）。
「研究」频道最新
- Nanograb 用 AI 设计纳米颗粒解决 mRNA 靶向递送难题 — ycombinator · 2026-10-24
- 斯坦福称仅用三个变量即可准确预测 LLM 逐字记忆 — stanfordnlp · 2026-10-24
- LitPivot 将研究想法拆为问题、贡献、评测三个维度 — allen_ai · 2026-10-24
- 17 人实验:LitPivot 优于文献问答机器人,想法评价更高 — allen_ai · 2026-10-24
- LitPivot 能对照文献发现重叠与空白,建议修改研究想法 — allen_ai · 2026-10-24
- AI2 推出 LitPivot:让研究点子在文献演进中同步打磨 — allen_ai · 2026-10-24