IRPAPERS 基准:加重排后正确文档命中率从 15% 升至 48%,reranker 成最弱环节
CShorten30 · x · 2026-11-18
Weaviate 团队在 arXiv 发布新报告 IRPAPERS——一个面向科学文献检索与问答的视觉文档基准。转发者 SearchDataEng 总结了改变搜索管线构建与预算方式的结果:
- 基准采用正确文档与问题措辞重叠极少的问题,这类问题在客服、排障和科研中很常见
- 仅靠关键词+向量检索,正确文档排第一的概率只有 15%;加重排器和一轮语言模型精排后提升到 48%
- 文档丢失的环节不再是首轮检索:2000 候选中 87% 的相关文档在集合内,但最好的 reranker 只把其中 56% 送进 top 20——reranker 已成最弱阶段
- 加深候选集并非无代价:三个 reranker 中有一个在 k=2000 时成绩反而变差
「研究」频道最新
- Emily Riehl 推出 Lean 证明入门游戏,用交互方式教依赖类型论 — abhi9u · 2026-11-22
- Android 移动 Agent 评测论文清单:从 AppAgent 到 AndroidReality — East-Muffin-6472 · 2026-11-22
- 研究者对比机制可解释性与神经科学:人类大脑如何做因果验证? — burny_tech · 2026-11-22
- 研究者提出“自然语言流形”概念,与物理时空相关词尤明显 — yasamanbb · 2026-11-22
- 数学家确认 Levent 用 AI 协作完成 GRH 证明,非暴力破解 — anshulkundaje · 2026-11-22
- 泰国研究员用 AI 解读日本古文 kuzushiji 并生成浮世绘风图像 — tkasasagi · 2026-11-22