传统 nDCG 高分仅 53% 获人类认同,RCP-nDCG 提升至 97%
Nils_Reimers · x · 2026-10-03
Nils Reimers 公布多项人类研究结果，质疑传统检索评测指标的有效性:
- 若某嵌入模型传统 nDCG 分数更高，人类仅有 53% 的概率认同其搜索结果更好——接近抛硬币。
- 改用 RCP-nDCG 后，分数更高的模型能获得高达 97% 的人类认同。
结论:RCP-nDCG 与人类判断的相关性远高于传统 nDCG，后者作为基准指标已接近失灵。
所属事件:Cohere 提出新检索评测指标 RCP-nDCG,人类一致率大增(2 条相关)→
「模型」频道最新
- 资深工程师:AI 编码质量已超人类,Opus 比我遇过的工程师都强 — facontidavide · 2026-10-03
- 用户吐槽 Grok 套餐无升级入口:付费订阅也未必能提升 Bot 额度 — JOBhakdi · 2026-10-03
- Vercel 发布 Python 版 AI SDK,实验性 evaluate() API 直连 Jev — cramforce · 2026-10-03
- ChatGPT Pro 用户控诉:周额度被提前强制重置作废 — Garbia · 2026-10-03
- 开发者自建 AtlasBench 空间推理基准，GPT-6.1 登顶 84.7% — flowersslop · 2026-10-03
- 用户实测:手机被强切 Gemini 后几乎啥都干不了 — loonydan42 · 2026-10-03