LightOn 开源 SOTA 稀疏检索器 SlideOn 与多语版 mSlideOn

LightOn 于 10 月 19 日发布两款全开源的 SOTA 稀疏检索器：英文版 SlideOn(174M 参数)与多语言版 mSlideOn(339M 参数)，模型与配套稀疏自编码器(SAE)已在 Hugging Face 开放。团队此前经历稠密检索与 late-interaction 两波技术浪潮后，此次押注稀疏路线。此次发布覆盖英语、多语言、长上下文与代码检索场景。

已确认

• SlideOn 在 BEIR-15 上取得 56.68 分，为稀疏基线中的 SOTA，并超过自家稠密检索器 DenseOn 的 56.20 分。
• mSlideOn 由 paulomouraj 团队发布，在相同训练数据与蒸馏设置下，多数任务上明显优于稠密版 mDenseOn，在与 dense、sparse 基线对比中达到 SOTA 或具竞争力。
• 训练方法：SAE 预训练加有监督微调，从 DenseOn/mLateOn 出发学得兼容倒排索引的高效稀疏表示；团队还通过 query 向量剪枝(q-16 到 q-full)达到搜索效率前沿，配图显示 q-32 为其中一档配置。
• 定位：SlideOn 主打检索第一阶段，官方建议在其上叠加多向量 reranker 与决策模型，构成级联检索管线。

为什么重要

这是稀疏检索路线对稠密检索的一次有力证明：更小参数量、兼容倒排索引的稀疏模型在标准评测上反超 dense 基线，且全开源(含 SAE)降低了复现与落地门槛，对构建检索管线(RAG、搜索)的团队具有直接实用价值。

2026-10-19 ~ 2026-10-20 · 7 条相关

• LightOn 发布 SlideOn：主打检索第一阶段的稀疏模型 — IgorCarron · 2026-10-19
• LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 两档 — IgorCarron · 2026-10-19
• 【源头】英语稀疏检索器 SlideOn 登顶 BEIR-15:56.68 分超 dense 基线 — IgorCarron · 2026-10-19
• 【源头】多语言稀疏检索器 mSlideOn 发布,多数任务大幅胜过 dense 版 — IgorCarron · 2026-10-19

另有 3 条近重复转述:IgorCarron · IgorCarron · IgorCarron