Linkup 开源稀疏检索模型 SparseUp,BEIR-13 登顶

Linkup Research(LightOn 旗下)开源了稀疏嵌入模型 SparseUp,许可证为 Apache 2.0,补齐了 DenseOn、LateOn 之外缺失的稀疏检索拼图。模型参数量不足 150M,基于 ModernBERT(约 1.4 亿参数量级),在 BEIR-13 基准上取得 56+ nDCG@10,被描述为该规模下已知最强的稀疏检索模型。

已确认

配套科普与生态支持

tomaarsen 在发布线程中科普稀疏嵌入模型:向量维度通常等于词表大小,约 99% 的位置为 0,只有少数激活维度(SPLADE 类方法)。稀疏性带来两大好处:存储只需保存非零项因而便宜,且激活维度对应具体词元、可解释性强(m3、m4)。

生态方面,Sentence Transformers 新增 SparseEncoder 接口,SparseUp 完全兼容,稀疏嵌入几行代码即可上手(m5)。

为什么重要

2026-09-17 ~ 2026-09-17 · 6 条相关

一手来源