Linkup 开源 SparseUp 稀疏检索模型,150M 内 BEIR 拿到 56.4 nDCG
tomaarsen · x · 2026-09-18
Linkup 在 Hugging Face 发布稀疏嵌入模型 SparseUp,作者称新稀疏检索模型发布罕见,此模型尤为难得。
- 成绩:149M 参数(ModernBERT 骨干),BEIR-13 达 56.4 nDCG@10,号称 150M 以下最强的公开词汇表稀疏编码器,Apache 2.0 开源。
- 设计思路:与 LightOn 的 DenseOn/LateOn 共用同一骨干与微调数据,补齐稀疏架构这一格,使三种架构可在控制变量下公平对比。模型从 LateOn 无监督版初始化,并嫁接 ModernBERT 的 MLM 头。
- 三个关键改动:logitshift=15 让 ReLU 支持从稀疏开始;positiontopk=12 限制每 token 扩展预算;vocabfold 将大小写/空格表面形式折叠,词表从 50k 压到约 34k 以提效。
- 训练:对比微调,从 50 个 hard negative 中采样 7 个加 batch 内负例,未做 cross-encoder 蒸馏。
所属事件:Linkup 开源 SparseUp：149M 参数稀疏检索模型登顶 BEIR-13(12 条相关)→
「模型」频道最新
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02
- Reddit 热帖追问:为何主流 AI 模型集体忽略冰岛女性罢工 — Mathemodel · 2026-11-02