LightOn 开源 SlideOn 稀疏检索模型:174M/339M 参数登顶 BEIR-15
IgorCarron · x · 2026-10-19
LightOn 发布两款开源稀疏检索模型 SlideOn(174M,英文)与 mSlideOn(339M,多语言),通过 SAE 预训练 + 有监督微调,从自家的 DenseOn/mLateOn 出发学得兼容倒排索引的高效稀疏表示:
- SlideOn 在 BEIR-15 达 56.68,超过 DenseOn 的 56.20,在 2B 以下模型的搜索/存储效率 Pareto 前沿领先
- mSlideOn 多语言检索(MIRACL)超 mDenseOn +4.76 分,长文档检索(MLDR)+10.19 分,代码检索(MTEB Code)也超过 mLateOn 和 mDenseOn
- 采用 Matryoshka 式训练,剪枝率提高时性能保持稳定,可按延迟/存储预算调节
作者解释从已训练的 dense/late-interaction 检索器出发,比重做大规模检索预训练便宜得多,且 mSlideOn 因此对未见语言和长上下文泛化更好。SAE checkpoints、微调模型与训练代码均以宽松许可开源。
所属事件:LightOn 开源 SOTA 稀疏检索器 SlideOn/mSlideOn(6 条相关)→
「模型」频道最新
- 开源版 Muse Spark 推理成本仅 API 的 1/7,并发 agent 提升 4.7 倍 — ryanshrout · 2026-10-20
- Mistral 发布时间序列基础模型 Timestral,5M~209M 四档零样本预测 — victormustar · 2026-10-20
- Sabi 开源 27B 脑机模型：幻觉率 15%，仅为 GPT-6 的零头 — lukas_m_ziegler · 2026-10-20
- MiniMax-M3.1-Flash 评测：智能指数 42 分，单任务成本降至约 0.22 美元 — ArtificialAnlys · 2026-10-19
- DeepSeek V4.1 Flash 1017 上线 HuggingChat,免费无限联网搜索 — victormustar · 2026-10-19
- 实测221次对话：Claude Sonnet 5.5 说随机数92%都报47 — randal_olson · 2026-10-19