LightOn 开源 SlideOn:SAE 稀疏检索模型 174M 反超稠密版
tomaarsen · x · 2026-10-22
LightOn 发布 SlideOn 系列(含多语言版 mSlideOn),核心是用稀疏自编码器(SAE)把稠密检索模型改造成稀疏检索:
- SlideOn 从 DenseOn 出发,先做 SAE 预训练再做监督检索微调,输出 32768 维非负稀疏向量(取 top-32 潜激活 + ReLU,token 间 max pooling),兼容倒排索引检索;
- 在 BEIR-15 上达到 56.68 nDCG@10,超过 DenseOn 的 56.20;
- 采用查询/文档联合 Matryoshka 训练,剪枝后仍保持检索质量,可在推理时无需重训调整搜索与存储成本;
- mSlideOn 从 mLateOn 出发,面向多语言、长上下文与代码检索,支持英法德意西葡等语言;
- 模型、SAE 初始化、训练数据配方与评测均以 Apache-2.0 开源,附完整博客与方法消融。
所属事件:LightOn 开源 SlideOn 系列稀疏检索模型,包揽 MTEB 小参数榜首(3 条相关)→
「模型」频道最新
- 疑 Anthropic 秘密模型 Fable 5.5 流出,35 分钟无反馈建出体素应用 — imjustnewatai · 2026-10-22
- Towards AI 自建写作基准:4 个 LLM 评委+千次人工 A/B,拆解 AI 文风为何像 slop — AI Engineer · 2026-10-22
- LightOn 新模型登顶 MTEB,包揽 500M 参数以下检索前两名 — tomaarsen · 2026-10-22
- NVIDIA 发布 Vera Rubin 全栈 agent 硬件，Nemotron 后训练宣称超越前沿模型 — mervenoyann · 2026-10-22
- LMArena 现身 Carbon 检查点，Gemini 网页与 App 同步更新 — lyraxana · 2026-10-22
- KRAFTON 首个模型 Raon-1-mini-preview 冲上 Hugging Face 热榜 — KRAFTON · 2026-10-22