检索评测老兵直言:霸榜 BEIR/DL/MIRACL 的模型反而可能低于 SOTA
bclavie · x · 2026-11-19
检索/embedding 领域从业者 @bclavie 讨论了当前评测基准的局限:
- 文档检索基准稀缺:ViDoReV3 是金标准,但其标注流程上限约 69%,65% 以上的模型往往实际比分数看起来更强,分数受标注质量压制。
- 经典基准的悖论:一个很强的模型通常会在 BEIR、DL19/DL20 和 MIRACL 上被「稍弱但还不错」的模型整体超越;如果某模型全面霸榜这些基准,反而很可能低于当前 SOTA——暗示可能存在过拟合或刷榜。
- 在较低参数量级上情况更模糊,LateInteraction/mLateOn/SparseUP 等方法在其类别中其实相当强。
所属事件:HF 工程师:真 SOTA 检索器反而会在旧基准上「输」(6 条相关)→
「模型」频道最新
- 爆料称 Google 闭环 RSI:小型 Gemini 4 Neon 得分超 Carbon 与 Argon — beffjezos · 2026-11-19
- 越来越多人称 Gemini 模型「回来了」,企业实测给出佐证 — toptickcrypto · 2026-11-19
- 医生称仍担心 LLM 引用幻觉的人已落后时代两年 — flngr · 2026-11-19
- 神秘匿名模型现身 FrontierMath 榜单,成绩超越 Fable 5.2 — gajus0 · 2026-11-19
- 用户实测称 Gemini Neon 质量媲美 Opus 且额度高出 3-4 倍 — s_scardapane · 2026-11-19
- GPT-6.2 Astra 94分钟形式化2006年定理,1794行Lean证明仅花21.58美元 — Dr_Singularity · 2026-11-19