Cohere 推新评测指标 RCP-nDCG,人类一致率升至 97%

Cohere 研发负责人 Nils Reimers 公布人类研究,质疑传统 nDCG 指标:嵌入模型传统分数更高时,人类仅 53% 概率认同其搜索结果更好,接近抛硬币。团队据此提出新评测方法 RCP-nDCG@10,并用其训练 Cohere Embed 5(v5),使其成为首个采用该指标的模型系列,人类一致率提升至 97%,更好地服务人类与 LLM 的真实检索场景。

2026-10-03 ~ 2026-10-03 · 3 条相关