SlideOn 开源稀疏检索模型发布并登顶 MTEB

第 1 集 · LightOn 开源稀疏检索模型 SlideOn，BEIR 反超稠密基线(2026-10-19,26 条)

LightOn R&D 于 10 月 19-20 日发布并完全开源两个稀疏检索模型：英文版 SlideOn（174M 参数）与多语言版 mSlideOn（339M 参数），模型权重、预训练稀疏自编码器（SAE）、约 1630 万条 query-positive 训练对（覆盖 9 种自然语言与代码，附 cross-encoder teacher 打分）及全部训练代码均已上架 Hugging Face。两模型已接入 sentence-transformers，pip install -U sentence-transformers 后用 SparseEncoder(..., trustremotecode=True) 即可加载；tomaarsen 指出官方定位是第一阶段检索，建议叠加多向量 reranker 构成级联管线。

已确认

• 技术路线：SlideOn 从 DenseOn 起步、mSlideOn 从 mLateOn 起步，先用 SAE 以少量激活特征重构 token 嵌入（token 表示映射到 top-32 隐激活再 ReLU，跨 token 最大池化），再经检索监督微调；输出 32768 维稀疏向量，以原始点积打分（不做最终归一化），维度不对应词表 token。tomaarsen 说明激活特征可直接存入倒排索引：query 特征选定 posting list 后按匹配权重计分。
• 官方成绩：BEIR-15 上 SlideOn 得 56.68 nDCG@10，超过稠密基线 DenseOn（56.20），接近 LateOn（57.22）；MTEB Code 12 任务平均 nDCG@10 上 mSlideOn 74.78 > mLateOn 73.48 > mDenseOn 71.53，mSlideOn 在 LightOn 对比中击败所有稀疏与 late-interaction 基线；对 mDenseOn 的多语言对比中 MLDR（13 语言）领先 +10.19、MIRACL（18 语言）领先 +4.76、MTEB Code 领先 +3.24，BEIR-15 平均落后 0.70。两模型支持 81 种语言，mSlideOn 还支持长文档检索。
• Matryoshka 稀疏训练：实测剪枝到 query 64 / document 512 个激活特征，BEIR 仅掉 0.02 分；query 剪枝减少倒排列表访问，document 剪枝减少存储，sentence-transformers 中可分别设 topk。tomaarsen 的成本-质量曲线显示 SlideOn（d=512）在 <2B 稀疏模型中性价比领先。
• 跨语言实测：法语/德语查询可直接匹配英语/葡萄牙语文档，接口为 encodequery()/encodedocument()/similarity()。

为什么重要

作者方（IgorCarron 转述）称团队经历稠密检索与 late-interaction 两波浪潮后押注稀疏方向；本次发布是稀疏检索路线少见的「模型+数据+代码」全开源组合，且稀疏向量与词表解耦、可落地倒排索引基础设施并在 CPU 上运行，从而改变企业级检索的成本结构，无需 GPU 向量搜索，对第一阶段大规模检索具有工程与成本意义。

• LightOn 发布 SlideOn：主打检索第一阶段的稀疏模型 — IgorCarron · 2026-10-19
• LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 两档 — IgorCarron · 2026-10-19
• 英语稀疏检索器 SlideOn 登顶 BEIR-15:56.68 分超 dense 基线 — IgorCarron · 2026-10-19
• SlideOn 用 Matryoshka 训练+向量剪枝,把存储成本压到 frontier — IgorCarron · 2026-10-19
• 多语言稀疏检索器 mSlideOn 发布,多数任务大幅胜过 dense 版 — IgorCarron · 2026-10-19
• LightOn 开源 SlideOn 稀疏检索模型:174M/339M 参数登顶 BEIR-15 — IgorCarron · 2026-10-19
• LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 两档参数 — IgorCarron · 2026-10-19
• LightOn 开源 SOTA 稀疏检索器 SlideOn,仅 174M/339M 参数 — IgorCarron · 2026-10-20
• LightOn 开源 SlideOn 稀疏检索器,174M/339M 达 SOTA — IgorCarron · 2026-10-20
• LightOn 开源 SOTA 稀疏检索器 SlideOn:174M/339M 两档 — antoine_chaffin · 2026-10-20
• LightOn 开源稀疏检索模型 SlideOn,BEIR 超越稠密基线 — tomaarsen · 2026-10-20
• LightOn 发布 SlideOn 稀疏检索模型：174M 英文与 339M 多语言双版本 — tomaarsen · 2026-10-20
• SlideOn 及预训练稀疏自编码器权重已开源发布 — tomaarsen · 2026-10-20
• SlideOn 方法拆解：稀疏自编码器重构嵌入再微调做检索 — tomaarsen · 2026-10-20
• SlideOn 稀疏向量与词表解耦：激活特征可直接建倒排索引 — tomaarsen · 2026-10-20
• SlideOn 稀疏向量与词表无关,可存倒排索引 — tomaarsen · 2026-10-20
• 成本-质量曲线:SlideOn 在 <2B 稀疏模型中性价比领先 — tomaarsen · 2026-10-20
• 实测:剪到 64+512 激活特征,BEIR 仅掉 0.02 分 — tomaarsen · 2026-10-20
• mSlideOn 多语言成绩:MIRACL 领先 4.76,MLDR 领先 10.19 — tomaarsen · 2026-10-20
• mSlideOn 代码检索 74.78 nDCG,反超稠密与 late-interaction — tomaarsen · 2026-10-20

还有 6 条相关讨论 →

第 2 集 · LightOn 开源 SlideOn 系列稀疏检索模型,包揽 MTEB 小参数榜首(2026-10-22,3 条)

法国公司 LightOn 发布 SlideOn 系列嵌入模型并开源多语言版 mSlideOn(Apache 2.0 许可,支持 sentence-transformers)。该系列利用稀疏自编码器(SAE)将稠密检索模型改造成稀疏检索模型,其中 SlideOn 仅 174M 参数即反超稠密版。据 sentence-transformers 维护者 tomaarsen 指出,SlideOn 与 mSlideOn 在 MTEB(Eng, v2)检索榜单上分别拿下 500M 参数以下检索前两名。

• LightOn 新模型登顶 MTEB,包揽 500M 参数以下检索前两名 — tomaarsen · 2026-10-22
• LightOn 开源 mSlideOn：不到 5 亿参数拿下 MTEB 检索榜首 — tomaarsen · 2026-10-22
• LightOn 开源 SlideOn:SAE 稀疏检索模型 174M 反超稠密版 — tomaarsen · 2026-10-22