Linkup 开源 SparseUp 稀疏检索模型：150M 以下 BEIR 最强
tomaarsen · x · 2026-09-17
LightOn/Linkup 发布开源权重的稀疏嵌入模型 SparseUp（Apache 2.0），Sentence Transformers 维护者 tomaarsen 高调点赞。
要点：
- 基于 ModernBERT（149M），与 LightOn 此前开源的 DenseOn / LateOn 同一骨干和微调数据，补齐三种检索架构的可控对比拼图
- 宣称是已知 150M 以下最强公开词表型稀疏编码器：BEIR-13 上 56.4 nDCG@10（对比同条件下 LateOn 57.9、DenseOn 56.9）
- 相比 vanilla SPLADE 有三个改进：logitshift=15 让激活从稀疏起步；positiontopk=12 限制每 token 扩展预算为 12 维；vocabfold 将大小写/空格表面形式折叠，词表从 50k 降到约 34k
- 训练用 LightOn 混合数据做对比学习（50 个中取 7 个硬负样本 + in-batch），无跨编码器蒸馏
模型已上架 Hugging Face，可直接部署推理。
所属事件:Linkup 开源 SparseUp：149M 参数稀疏检索模型登顶 BEIR-13(12 条相关)→
「模型」频道最新
- 马斯克扛不住成本：Grok Bot 额度一夜缩水两至四成 — yangyi · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02