LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 两档参数
IgorCarron · x · 2026-10-19
LightOn R&D 发布 SlideOn 与 mSlideOn 两个完全开源的稀疏检索器，参数量分别为 174M 和 339M，宣称达到 SOTA 水平。团队此前经历了稠密检索和 late-interaction 两波技术浪潮，现在押注稀疏检索方向。
模型权重与配套博客均已放出，博客内容相当扎实：涵盖如何正确训练稠密或 late-interaction 模型、如何修复在其上叠加的劣质 SAE 模型，并展示 SAE 具备与 late-interaction 模型类似的多语言泛化能力，在代码检索上也表现出色。作者还提到现有版本尚不够稀疏，但官方已提供开箱即用的进一步稀疏化手段。
所属事件:LightOn 开源 SOTA 稀疏检索器 SlideOn 与 mSlideOn(8 条相关)→
「研究」频道最新
- 无反向传播预训练追平 backprop：forward-only 在 Noise 基准刷新纪录 — tensorqt · 2026-10-20
- NeurIPS 2026 论文 IPW：衡量本地 AI 的「每瓦智能」效率 — HazyResearch · 2026-10-20
- Cohere Labs 安全组讲座：Goodfire 研究员讲全流程模型可解释性 — Cohere_Labs · 2026-10-20
- NeurIPS 论文:AI 模型可在权重中加密隐藏任意危险能力 — MoonL88537 · 2026-10-20
- 2.6 万中国学生研究：用 AI 作业分数涨，考试成绩反跌 — Dr_Alex_Crimi · 2026-10-20
- 开发者把 Gemma 4 E2B 后训练成决策模型，更快更强 — andrew_n_carr · 2026-10-20