SPARSEUP 论文:现代骨干上训练稀疏检索器,BEIR 56.4 nDCG@10 刷新纪录

_reachsumit · x · 2026-11-10

Thibault Formal 等发布 arXiv 论文 SPARSEUP,给出在现代骨干模型和数据上训练 Splade 类稀疏检索器的完整配方。稀疏检索长期落后于单向量与 late-interaction 模型,主因是训练极难收敛、条件苛刻。论文的关键贡献:- 分析 logit 分布对训练稳定性与最终稀疏度的影响;- 提出逐位置 fan-out 硬上限,限制每个位置可激活的词表维度数;- 引入词表合并策略,去除大小写 BPE 骨干中常见的大小写/词边界冗余变体。应用于 LateOn 骨干后,SPARSEUP 在 BEIR-13 上达到 56.4 平均 nDCG@10,是已知的 150M 参数以下公开词表型稀疏编码器中最高成绩。论文与模型均在 arXiv 和 Hugging Face 开放。

所属事件:Linkup 发布 SPARSEUP 论文,稀疏检索器刷新 BEIR 纪录(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →