LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 双版本

LightOn R&D 于 10 月 19-20 日发布并完全开源两个稀疏检索模型：英文版 SlideOn（174M 参数）与多语言版 mSlideOn（339M 参数），模型权重、预训练稀疏自编码器（SAE）、约 1630 万条 query-positive 训练对（覆盖 9 种自然语言与代码，附带 cross-encoder teacher 打分）以及全部训练代码均已上架 Hugging Face。两个模型已接入 sentence-transformers，pip install -U sentence-transformers 后用 SparseEncoder(..., trustremotecode=True) 即可加载。tomaarsen 指出，官方定位是第一阶段检索，建议在其上叠加多向量 reranker 构成级联管线。

已确认

• 技术路线：SlideOn 从 DenseOn 起步、mSlideOn 从 mLateOn 起步，先用 SAE 以少量激活特征重构 token 嵌入，再经检索监督微调；输出 32768 维稀疏向量，以原始点积打分（不做最终归一化），维度不对应词表 token。tomaarsen 说明激活特征可直接存入倒排索引：query 特征选定 posting list 后按匹配权重计分。
• 官方成绩：BEIR-15 上 SlideOn 得 56.68 nDCG@10，超过稠密基线 DenseOn（56.20），接近 LateOn（57.22）；MTEB Code 12 任务平均 nDCG@10 上 mSlideOn 74.78 > mLateOn 73.48 > mDenseOn 71.53；对 mDenseOn 的多语言对比中 MLDR（13 语言）领先 +10.19、MIRACL（18 语言）领先 +4.76、MTEB Code 领先 +3.24，BEIR-15 平均落后 0.70。两模型支持 81 种语言。
• Matryoshka 稀疏训练：实测剪枝到 query 64 / document 512 个激活特征，BEIR 仅掉 0.02 分，query 剪枝减少倒排列表访问、document 剪枝减少存储。tomaarsen 的成本-质量曲线显示 SlideOn（d=512）在 <2B 稀疏模型中性价比领先。
• 跨语言实测：法语/德语查询可直接匹配英语/葡萄牙语文档，接口为 encodequery()/encodedocument()/similarity()。

为什么重要

作者方（IgorCarron 转述）称团队经历稠密检索与 late-interaction 两波浪潮后押注稀疏方向；本次发布是稀疏检索路线少见的「模型+数据+代码」全开源组合，且稀疏向量与词表解耦、可落地倒排索引基础设施，对第一阶段大规模检索具有工程意义。

2026-10-19 ~ 2026-10-20 · 23 条相关

• LightOn 发布 SlideOn：主打检索第一阶段的稀疏模型 — IgorCarron · 2026-10-19
• LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 两档 — IgorCarron · 2026-10-19
• 英语稀疏检索器 SlideOn 登顶 BEIR-15:56.68 分超 dense 基线 — IgorCarron · 2026-10-19
• 多语言稀疏检索器 mSlideOn 发布,多数任务大幅胜过 dense 版 — IgorCarron · 2026-10-19
• SlideOn 及预训练稀疏自编码器权重已开源发布 — tomaarsen · 2026-10-20
• SlideOn 方法拆解：稀疏自编码器重构嵌入再微调做检索 — tomaarsen · 2026-10-20
• SlideOn 稀疏向量与词表解耦：激活特征可直接建倒排索引 — tomaarsen · 2026-10-20
• SlideOn 稀疏向量与词表无关,可存倒排索引 — tomaarsen · 2026-10-20
• 成本-质量曲线:SlideOn 在 <2B 稀疏模型中性价比领先 — tomaarsen · 2026-10-20
• 实测:剪到 64+512 激活特征,BEIR 仅掉 0.02 分 — tomaarsen · 2026-10-20
• mSlideOn 多语言成绩:MIRACL 领先 4.76,MLDR 领先 10.19 — tomaarsen · 2026-10-20
• mSlideOn 代码检索 74.78 nDCG,反超稠密与 late-interaction — tomaarsen · 2026-10-20
• mSlideOn 跨语言检索实测:法德查询匹配英葡文档 — tomaarsen · 2026-10-20
• 【源头】SlideOn 同步开源 1630 万训练对与全部训练代码 — tomaarsen · 2026-10-20
• SlideOn 已进 sentence-transformers,pip 即装即用 — tomaarsen · 2026-10-20
• 【源头】SlideOn 技术细节:SAE 预训练 + Matryoshka 稀疏训练 — tomaarsen · 2026-10-20

另有 7 条近重复转述:IgorCarron · IgorCarron · IgorCarron · IgorCarron · antoine_chaffin · tomaarsen · tomaarsen