检索评测圈观察:榜单冠军反而可能不是真正SOTA模型
bclavie · x · 2026-11-19
Embeddings/attribution 领域开发者 bclavie 分享了一个 MIRACL 基准上的有趣观察:某 GPT 模型在 listwise 设定下甚至跑不赢 Qwen3 Rerank 8B/4B。
他进一步给出一个经验规律:
- 一个「非常好的模型」往往在 BEIR、DL19/DL20、MIRACL 这几个基准上会被「较弱但还不错的模型」全面超过
- 反过来,如果某模型在这些基准上全部登顶,它很可能实际低于 SOTA
结论:跨域检索评测需要更全面的 benchmark(他半开玩笑地提议做一个「Benchmark for Retrieval Evaluation Across Domains」),单看榜单排名容易误判模型真实检索能力。
所属事件:HF 工程师:真 SOTA 检索器反而会在旧基准上「输」(6 条相关)→
「模型」频道最新
- 用户实测称 Gemini Neon 质量媲美 Opus 且额度高出 3-4 倍 — s_scardapane · 2026-11-19
- 模型圈格局之辩:OpenAI 首次被 credible 地排在第三 — teortaxesTex · 2026-11-19
- 微软宣称路由器比 GPT-Sol 6.1 便宜 79 倍,但评测是自建的 — YvesMulkers · 2026-11-19
- 用户怒斥 Gemini 用 Flash 级 Neon 替换 Argon:协作能力大倒退 — OwnTechnology4271 · 2026-11-19
- Gemini 4 Neon 被赞 CoT 最佳,思维链满屏「Whimsy」引热议 — teortaxesTex · 2026-11-19
- Hermes 适配器放出 GGUF 版:不开思考即追平 xhigh,token 省四分之三 — yb2698 · 2026-11-19