Linkup 发布 SPARSEUP:现代骨干稀疏检索器 BEIR-13 拿下 56.4

SPARSEUP: Towards Better Recipes for Training Modern Learned Sparse Retrievers

Thibault Formal, Pierre Erbacher, Cosimo Rulli

cs.IR

2026-11-07

Linkup 用 logit 偏移、fan-out 上限和词表折叠三个轻量改动,让 Splade 类稀疏检索器在现代骨干上稳定训练,BEIR-13 平均 56.4 nDCG@10,150M 参数以下最高。

这篇在解决什么

学习型稀疏检索把文档表示成「词表维度上的稀疏权重向量」:一个词被激活才有非零值,配倒排索引查询延迟能压到毫秒级,还天然擅长精确匹配罕见词。Splade 系列多年是这条路线的标准,但近年被单向量稠密模型和 late interaction 模型持续拉开。卡点不是路线不行,是稀疏编码器出了名地难训:把 ModernBERT、Ettin 这类现代骨干直接塞进 Splade 流程,效果差,RoBERTa-Large 干脆训不动。稠密和 late interaction 模型一直在吃新骨干和新数据的红利,稀疏这边基本没跟上。

此前两篇论文诊断不同:Geng 与 Yang 归因于词表,byte-level BPE 分词器把大小写、词首/词中变体当成不同词表项,一个词的权重被摊到最多四个表面形式上;Jang 等人归因于规模,现代模型的 LM 头范数大,初始化就把激活撑爆。Linkup 这篇技术报告的判断是两条都成立,而且能用一套更简单的配方一起解决。

方法

三个成分,全部作用在模型本身,不做推理后补偿。训练沿用 DenseOn/LateOn 的对比设置(InfoNCE,温度 6,每查询 7 个难负例)。

把配方套在 LateOn 骨干(嫁接 ModernBERT 的 MLM 头)和 Embeddings-Fine-Tuning 数据上,得到 SPARSEUP,参数量 150M 以下。

结果

BEIR-13 平均 nDCG@10:

模型类型BEIR-13
Splade-v3稀疏51.7
OS-NSE doc-v3稀疏54.6
SPARSEUP稀疏,<150M56.4
DenseOn稠密,同骨干同数据57.9
SlideOnlate interaction58.7
Laconic稀疏,约 1B 参数58.7
LateOnlate interaction58.9

56.4 是作者所知 150M 以下公开词表型稀疏编码器的最高分,比最强可比模型高 1.8。与同一骨干、同一数据训出的 DenseOn 只差 1.5 分;在去掉泄漏查询的去污染 BEIR 上 57.5 对 57.7,基本打平;ArguAna 和 Touché 上反超 DenseOn 和 LateOn。检索用 Seismic 索引,单查询 1ms 以内。

消融:去掉词表折叠降到 55.0;从裸 ModernBERT 起训、不用 LateOn 预训练检查点,降到 54.3。蒸馏(cross-encoder teacher)对 BEIR-13 只加 0.1,域外却一致有效:CURE-en +2.5、Legal/Finance +2.3、ChemTEB +3.3;BRIGHT-Pro 上不蒸馏就已比 DenseOn 高 4.9。若目标就是重剪枝部署,训练时直接加 top-64 约束比无约束版本在该档位高 4 分,但换到更大 k 评估就明显退化。LoTTE 是主要例外,稀疏全面落后。

为什么重要

对做检索和 RAG 的人,这篇的信号是稀疏检索重新成为可选项。困扰多年的「现代骨干训不动稀疏编码器」被三个很轻的改动填平:激活前减一个常数、pooling 前取 top-k、零参数的词表合并。效果上是追赶,没有反超,同设置的稠密和 late interaction 模型平均分仍在前头。但稀疏换来的是毫秒级查询、倒排索引的成熟工程栈、罕见词精确匹配和天然可解释性,且在 BRIGHT-Pro、法律金融、化学这类域外任务上反占优势。接近稠密效果、服务成本低一个量级,在生产里常常是对的交易。权重已放出:linkup-sparseup-embed-v1。

局限与存疑

论文自己承认的:wacky weights 仍在,子词会激活无关碎片(cle 会激活 cre、ce、Cole、cane),表示肉眼可见不如 Splade-v3 干净,只是分数更高;LoTTE 上落后全部稠密和 late interaction 基线;比 Laconic 低 2.3 分,而后者参数量约十倍。训练数据 Embeddings-Fine-Tuning 含部分评测集的训练拆分,去污染对照部分缓解,headline 平均分仍要打折。

读下来另有几点:θ 的 99.9 分位数规则只在三个骨干上验证过,换骨干未必即插即用;f=12 是扫出来的经验值;主结果依赖 LateOn 预训练检查点,裸骨干只剩 54.3,优势大幅缩水;全部结果单次运行,没有方差报告;「150M 以下最高」是自划范围的声明,更大的模型不在比较半径内。

术语

原文与代码

社区讨论

相关论文

全部论文解读