Linkup 开源 SparseUp:149M 参数稀疏检索模型登顶 BEIR-13

Linkup Research(LightOn 旗下)于 09-17 开源稀疏嵌入模型 SparseUp(模型名 linkup-sparseup-embed-v1,许可证 Apache 2.0),定位为 DenseOn、LateOn 之外缺失的稀疏检索拼图。模型仅 149M 参数,基于 ModernBERT 骨干、同数据训练,在 BEIR-13 上取得 56.4 nDCG@10,官方称其为该参数规模下已知最强的公开稀疏检索器。Sentence Transformers 维护者 tomaarsen 高调点赞并配套生态支持,发布当日引发密集讨论。

已确认

争议与生态背景

配套科普

tomaarsen 在发布线程中科普稀疏嵌入模型:向量维度通常等于词表大小,约 99% 的位置为 0,只有少数激活维度(SPLADE 类方法)。稀疏性带来两大好处:存储只需保存非零项因而便宜,且激活维度对应具体词元、可解释性强(m3、m4、m5)。

为什么重要

2026-09-17 ~ 2026-09-18 · 12 条相关

一手来源

另有 1 条近重复转述:tomaarsen