检索评测圈观察:榜单冠军反而可能不是真正SOTA模型

bclavie · x · 2026-11-19

Embeddings/attribution 领域开发者 bclavie 分享了一个 MIRACL 基准上的有趣观察:某 GPT 模型在 listwise 设定下甚至跑不赢 Qwen3 Rerank 8B/4B。

他进一步给出一个经验规律:

结论:跨域检索评测需要更全面的 benchmark(他半开玩笑地提议做一个「Benchmark for Retrieval Evaluation Across Domains」),单看榜单排名容易误判模型真实检索能力。

所属事件:HF 工程师:真 SOTA 检索器反而会在旧基准上「输」(6 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →