SPARSEUP: Towards Better Recipes for Training Modern Learned Sparse Retrievers
Thibault Formal, Pierre Erbacher, Cosimo Rulli
cs.IR
2026-11-07
Linkup 用 logit 偏移、fan-out 上限和词表折叠三个轻量改动,让 Splade 类稀疏检索器在现代骨干上稳定训练,BEIR-13 平均 56.4 nDCG@10,150M 参数以下最高。
学习型稀疏检索把文档表示成「词表维度上的稀疏权重向量」:一个词被激活才有非零值,配倒排索引查询延迟能压到毫秒级,还天然擅长精确匹配罕见词。Splade 系列多年是这条路线的标准,但近年被单向量稠密模型和 late interaction 模型持续拉开。卡点不是路线不行,是稀疏编码器出了名地难训:把 ModernBERT、Ettin 这类现代骨干直接塞进 Splade 流程,效果差,RoBERTa-Large 干脆训不动。稠密和 late interaction 模型一直在吃新骨干和新数据的红利,稀疏这边基本没跟上。
此前两篇论文诊断不同:Geng 与 Yang 归因于词表,byte-level BPE 分词器把大小写、词首/词中变体当成不同词表项,一个词的权重被摊到最多四个表面形式上;Jang 等人归因于规模,现代模型的 LM 头范数大,初始化就把激活撑爆。Linkup 这篇技术报告的判断是两条都成立,而且能用一套更简单的配方一起解决。
三个成分,全部作用在模型本身,不做推理后补偿。训练沿用 DenseOn/LateOn 的对比设置(InfoNCE,温度 6,每查询 7 个难负例)。
把配方套在 LateOn 骨干(嫁接 ModernBERT 的 MLM 头)和 Embeddings-Fine-Tuning 数据上,得到 SPARSEUP,参数量 150M 以下。
BEIR-13 平均 nDCG@10:
| 模型 | 类型 | BEIR-13 |
| Splade-v3 | 稀疏 | 51.7 |
| OS-NSE doc-v3 | 稀疏 | 54.6 |
| SPARSEUP | 稀疏,<150M | 56.4 |
| DenseOn | 稠密,同骨干同数据 | 57.9 |
| SlideOn | late interaction | 58.7 |
| Laconic | 稀疏,约 1B 参数 | 58.7 |
| LateOn | late interaction | 58.9 |
56.4 是作者所知 150M 以下公开词表型稀疏编码器的最高分,比最强可比模型高 1.8。与同一骨干、同一数据训出的 DenseOn 只差 1.5 分;在去掉泄漏查询的去污染 BEIR 上 57.5 对 57.7,基本打平;ArguAna 和 Touché 上反超 DenseOn 和 LateOn。检索用 Seismic 索引,单查询 1ms 以内。
消融:去掉词表折叠降到 55.0;从裸 ModernBERT 起训、不用 LateOn 预训练检查点,降到 54.3。蒸馏(cross-encoder teacher)对 BEIR-13 只加 0.1,域外却一致有效:CURE-en +2.5、Legal/Finance +2.3、ChemTEB +3.3;BRIGHT-Pro 上不蒸馏就已比 DenseOn 高 4.9。若目标就是重剪枝部署,训练时直接加 top-64 约束比无约束版本在该档位高 4 分,但换到更大 k 评估就明显退化。LoTTE 是主要例外,稀疏全面落后。
对做检索和 RAG 的人,这篇的信号是稀疏检索重新成为可选项。困扰多年的「现代骨干训不动稀疏编码器」被三个很轻的改动填平:激活前减一个常数、pooling 前取 top-k、零参数的词表合并。效果上是追赶,没有反超,同设置的稠密和 late interaction 模型平均分仍在前头。但稀疏换来的是毫秒级查询、倒排索引的成熟工程栈、罕见词精确匹配和天然可解释性,且在 BRIGHT-Pro、法律金融、化学这类域外任务上反占优势。接近稠密效果、服务成本低一个量级,在生产里常常是对的交易。权重已放出:linkup-sparseup-embed-v1。
论文自己承认的:wacky weights 仍在,子词会激活无关碎片(cle 会激活 cre、ce、Cole、cane),表示肉眼可见不如 Splade-v3 干净,只是分数更高;LoTTE 上落后全部稠密和 late interaction 基线;比 Laconic 低 2.3 分,而后者参数量约十倍。训练数据 Embeddings-Fine-Tuning 含部分评测集的训练拆分,去污染对照部分缓解,headline 平均分仍要打折。
读下来另有几点:θ 的 99.9 分位数规则只在三个骨干上验证过,换骨干未必即插即用;f=12 是扫出来的经验值;主结果依赖 LateOn 预训练检查点,裸骨干只剩 54.3,优势大幅缩水;全部结果单次运行,没有方差报告;「150M 以下最高」是自划范围的声明,更大的模型不在比较半径内。