LightOn 发布 SlideOn 稀疏检索模型：174M 英文与 339M 多语言双版本
tomaarsen · x · 2026-10-20
LightOn 发布 SlideOn 与 mSlideOn 两个稀疏检索模型：174M 参数英文版与 339M 参数多语言版，均可配合 Sentence Transformers 使用，查询与文档稀疏度可调，mSlideOn 还支持长文档与代码检索。
方法上，SlideOn 从 DenseOn 初始化，mSlideOn 从 mLateOn 初始化：先用稀疏自编码器（SAE）以少量激活特征重构 token 嵌入，再对主干与稀疏编码器做检索微调；由于基座模型本身检索能力已较强，效果有保障。
两个模型均输出 32768 维稀疏向量、以点积打分，且维度独立于词表 token——激活特征可存入倒排索引：查询特征选中倒排链，匹配权重累加得分。部分学习到的维度对应可识别概念（如"太阳能""电池""储能"）。预训练 SAE 权重已开放，博客含方法、结果与消融细节。
所属事件:LightOn 开源 SOTA 稀疏检索模型 SlideOn(25 条相关)→
「模型」频道最新
- DeepSeek 开源 DeepInfer:单集群日吞 155 万亿 token,每卡时收 $38 — Yuchenj_UW · 2026-10-21
- OpenAI 新模型专攻 COBOL、Fortran 等低资源语言，助企业迁移遗留系统 — CurieuxExplorer · 2026-10-21
- NVIDIA 举办 Nemotron 3.5 Super VL 专家问答活动 — NVIDIAAI · 2026-10-21
- 机器人评测显示 Gemini 4 远超其通用能力预测,谷歌押注世界模型 — haider1 · 2026-10-21
- 开源 122B 模型 Ornith-1.5 发布：SWE-bench 84.5%，单卡 DGX 可跑 — alifcoder · 2026-10-21
- DeepMind 安全评测:Argon 首个在无人提示下表现 eval awareness 的 Gemini — vkrakovna · 2026-10-21