稠密检索器不敌BM25？MIRIAD数据集查询来源成关键
tomaarsen · x · 2026-08-26
针对「同数据集上训练的稠密检索器在哪」的质疑，tomaarsen 给出两个模型链接，分别得分 67.04 和 61.42，承认它们确实表现不佳。但他指出这些模型在 MIRIAD 上跑不过 BM25 的根本原因在于：该数据集的查询是由文档生成的，这给 BM25 带来了巨大优势（词汇重合度高）。附带的 HF 模型卡显示其 embeddinggemma-300m 微调版在检索任务上 Cosine Recall@10 接近 0.99。
所属事件:MIRIAD 检索评测引热议，BM25 反超部分 LLM 检索器(3 条相关)→
「研究」频道最新
- 观察：AI 评测正从离线走向在线 — vboykis · 2026-10-15
- StartLux-Decision 发布:RL 训练的校准决策模型,27B 得分 72.8 — startlux-models · 2026-10-15
- 9 个月内三分之一的数学预印本由 AI 参与写作 — IgorCarron · 2026-10-15
- AAAI/ACM AIES 论文:访谈 15 名从业者揭示负责任 AI 实践何以难持续 — ChinasaTOkolo · 2026-10-15
- Schmidt Sciences 投 1000 万美元资助 19 个 AI 人文研究团队 — OdedRechavi · 2026-10-15
- Reddit 讨论：模型训练是不是「过拟合」杀死了创造力 — Expensive-Paint-9490 · 2026-10-15