Cohere 推新评测指标 RCP-nDCG,人类一致率升至 97%
Cohere 研发负责人 Nils Reimers 公布人类研究,质疑传统 nDCG 指标:嵌入模型传统分数更高时,人类仅 53% 概率认同其搜索结果更好,接近抛硬币。团队据此提出新评测方法 RCP-nDCG@10,并用其训练 Cohere Embed 5(v5),使其成为首个采用该指标的模型系列,人类一致率提升至 97%,更好地服务人类与 LLM 的真实检索场景。
2026-10-03 ~ 2026-10-03 · 3 条相关
- Cohere Embed 5 首次采用新检索评测法 RCP-nDCG@10 — cohere · 2026-10-03
- 传统 nDCG 高分仅 53% 获人类认同,RCP-nDCG 提升至 97% — Nils_Reimers · 2026-10-03
- Cohere 用新指标 RCP-nDCG 训练 Embed v5,人类一致率升至 97% — Nils_Reimers · 2026-10-03