Linkup 开源 SparseUp 稀疏检索模型：150M 以下 BEIR 最强
tomaarsen · x · 2026-09-17
LightOn/Linkup 发布开源权重的稀疏嵌入模型 SparseUp（Apache 2.0），Sentence Transformers 维护者 tomaarsen 高调点赞。
要点：
- 基于 ModernBERT（149M），与 LightOn 此前开源的 DenseOn / LateOn 同一骨干和微调数据，补齐三种检索架构的可控对比拼图
- 宣称是已知 150M 以下最强公开词表型稀疏编码器：BEIR-13 上 56.4 nDCG@10（对比同条件下 LateOn 57.9、DenseOn 56.9）
- 相比 vanilla SPLADE 有三个改进：logitshift=15 让激活从稀疏起步；positiontopk=12 限制每 token 扩展预算为 12 维；vocabfold 将大小写/空格表面形式折叠，词表从 50k 降到约 34k
- 训练用 LightOn 混合数据做对比学习（50 个中取 7 个硬负样本 + in-batch），无跨编码器蒸馏
模型已上架 Hugging Face，可直接部署推理。
所属事件:Linkup 开源 SparseUp：150M 以下参数登顶 BEIR-13 稀疏检索(10 条相关)→
「模型」频道最新
- 实测 TypeSafe 判断模型 Jev:六大场景,速度比 Gemini 快 4 倍 — HamelHusain · 2026-09-18
- Google DeepMind 将在 Nerdearla 举办 llama.cpp×Gemma 侧会 — mervenoyann · 2026-09-18
- Jina AI 发布 jina-ocr-v1:570M 激活参数的视觉文档解析模型 — JinaAI_ · 2026-09-18
- 开发者吐槽:最聪明的模型反而不擅长写简洁可合并的代码 — timigod · 2026-09-18
- Gemini 4 Pro 对阵 3.8 Flash:经典鹈鹕骑自行车 SVG 测试 — GamingDisruptor · 2026-09-17
- 小模型+Kimi K3 级联路由：百封邮件欺诈检测仅花 7 美分 — nutlope · 2026-09-17