Linkup 首篇论文 SPARSEUP：150M 以下稀疏检索器 BEIR-13 最高 56.4 nDCG@10
antoine_chaffin · x · 2026-11-09
Linkup 研究团队在 arXiv 发布 SPARSEUP 论文，是此前博客的深化版，探讨如何更好地训练学习型稀疏检索器（Splade-like）。
主要贡献
- 提出一套在现代骨干网络和数据上训练稀疏编码器的配方，改善效率-效果权衡
- 分析 logit 分布对训练稳定性与最终稀疏性的影响
- 引入按位置的 fan-out 硬上限控制，限制每个位置可激活的词表维度数
- 采用词表合并策略，去除大小写与词边界变体等冗余词条（常见于 cased BPE 骨干）
结果：应用于 LightOn 的 LateOn 骨干后，SPARSEUP 在 BEIR-13 上达到 56.4 平均 nDCG@10，为已知 150M 参数以下公开词表型稀疏编码器中的最高分。论文还包含与 DenseOn、LateOn、SlideOn 的扩展对比，进一步佐证学习型稀疏检索路线的竞争力。
「研究」频道最新
- 非凸优化之谜：八九十年代的解析解根本不靠凸性 — caglar_ee · 2026-11-09
- DefFlow：用 3D 点流让机器人把绳、布揉成指定形状 — drsrinathsridha · 2026-11-09
- RLDM 2027 大会官宣第二位主讲人：《对齐问题》作者 Brian Christian — dabelcs · 2026-11-09
- Nature 书评:AI 正在改变数学,人类洞见或成过去阶段 — LucaAmb · 2026-11-09
- 无视觉无触觉:Tu Darmstadt 展示纯本体感知人形踢球玩滑板 — Jan_R_Peters · 2026-11-09
- 华为诺亚提出 LowRAM:注意力头内摊销 Value 实现 4 倍 KV 压缩 — Teresa Delgado · 2026-11-09