LightOn 开源稀疏检索模型 SlideOn,BEIR 超越稠密基线
tomaarsen · x · 2026-10-20
LightOn 发布 SlideOn(174M,英文)与 mSlideOn(339M,多语言)两个稀疏检索模型,均已接入 sentence-transformers,可用 SparseEncoder(..., trustremotecode=True) 直接加载。
要点:
- 输出 32,768 维非负稀疏向量,点积检索,可直接存入倒排索引;维度与词表 token 无关
- 方法:从 DenseOn 出发,经稀疏自编码器(SAE)预训练 + 检索监督微调;mSlideOn 从 mLateOn 出发,支持长文档与代码
- BEIR-15 上 SlideOn 达 56.68 nDCG@10,超过起点 DenseOn(56.20),接近 LateOn(57.22)
- 支持 Matryoshka 式 query/document 分别剪枝,推理时可调稀疏度而无需重训
- 开源训练数据与代码:约 1630 万 query-positive 对,覆盖 9 种自然语言与代码,带 cross-encoder teacher 分数
所属事件:LightOn 开源 SOTA 稀疏检索模型 SlideOn(25 条相关)→
「模型」频道最新
- 中美同步收紧开源模型监管,MOFCOM 拟出口预审批、DHS 禁 DeepSeek 入联邦采购 — natolambert · 2026-10-21
- 研究者喊话:别再用 PickScore 当奖励模型,评测论文会被拒读 — gowthami_s · 2026-10-21
- OpenAI 新模型专攻 COBOL、Fortran 等低资源语言，助企业迁移遗留系统 — CurieuxExplorer · 2026-10-21
- NVIDIA 举办 Nemotron 3.5 Super VL 专家问答活动 — NVIDIAAI · 2026-10-21
- 机器人评测显示 Gemini 4 远超其通用能力预测,谷歌押注世界模型 — haider1 · 2026-10-21
- 开源 122B 模型 Ornith-1.5 发布：SWE-bench 84.5%，单卡 DGX 可跑 — alifcoder · 2026-10-21