HF 工程师:真正的 SOTA 检索器会在很多现有榜单上「输」

bclavie · x · 2026-11-19

Hugging Face 工程师 bclavie 提出一个反直觉观点:判断你的检索器(retriever)是否真正推动 SOTA 的标准,恰恰是它在很多现有 benchmark 上落败——因为它比现有数据集的标注更强,旧标签已经无法衡量它。

这指出了检索评测的一个根本问题:当模型能力超过基准标注质量时,榜单分数反而变成反向信号,暗示现有检索评测集亟需更新。

所属事件:HF 工程师:真 SOTA 检索器反而会在旧基准上「输」(6 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →