HF 工程师:真 SOTA 检索器反而会在旧基准上「输」

11 月 19 日,Hugging Face 工程师、检索评测领域从业者 bclavie 在回应「该关注哪些检索评测基准」的讨论时提出一个反直觉判断标准:一个真正推动 SOTA 的检索器,恰恰会在很多现有基准上「输」——因为它比现有数据集的标注更强,旧标签已经无法衡量它的真实水平。KShivendu、bowangbo 等多位转发者进一步扩散了这一说法。当前结论是:依赖旧标注的榜单已难以区分更强的模型,检索评测体系存在结构性问题。

已确认

为什么重要

2026-11-19 ~ 2026-11-19 · 6 条相关

一手来源