Linkup 开源 SparseUp 稀疏检索模型,150M 内 BEIR 拿到 56.4 nDCG
tomaarsen · x · 2026-09-18
Linkup 在 Hugging Face 发布稀疏嵌入模型 SparseUp,作者称新稀疏检索模型发布罕见,此模型尤为难得。
- 成绩:149M 参数(ModernBERT 骨干),BEIR-13 达 56.4 nDCG@10,号称 150M 以下最强的公开词汇表稀疏编码器,Apache 2.0 开源。
- 设计思路:与 LightOn 的 DenseOn/LateOn 共用同一骨干与微调数据,补齐稀疏架构这一格,使三种架构可在控制变量下公平对比。模型从 LateOn 无监督版初始化,并嫁接 ModernBERT 的 MLM 头。
- 三个关键改动:logitshift=15 让 ReLU 支持从稀疏开始;positiontopk=12 限制每 token 扩展预算;vocabfold 将大小写/空格表面形式折叠,词表从 50k 压到约 34k 以提效。
- 训练:对比微调,从 50 个 hard negative 中采样 7 个加 batch 内负例,未做 cross-encoder 蒸馏。
所属事件:Linkup 开源 SparseUp：149M 参数登顶 BEIR-13 稀疏检索(12 条相关)→
「模型」频道最新
- 自称 ChatGPT 联合发明者隐身两年，发布「决策专用」新模型 Jev — threepointone · 2026-09-18
- 自称数据研究实验室:全部训练数据 100% 合成造出认知核心 — sh_reya · 2026-09-18
- Benchmark Heaven 上线：聚合 100 项基准、800 个模型，首创 Benchmaxxing 分数 — airesearch12 · 2026-09-18
- 法律 AI 公司 Legora:没有最好的模型,只有每项任务跑分胜出者 — soleio · 2026-09-18
- OpenAI 发布模型失调披露框架，并公开六份失调行为报告 — coherence · 2026-09-18
- 解读 GPT-6 Astra:Stargate 超 10 万 GPU 预训练,押注 3D 具身智能 — udmrzn · 2026-09-18