SPARSEUP 论文:现代骨干上训练稀疏检索器,BEIR 56.4 nDCG@10 刷新纪录
_reachsumit · x · 2026-11-10
Thibault Formal 等发布 arXiv 论文 SPARSEUP,给出在现代骨干模型和数据上训练 Splade 类稀疏检索器的完整配方。稀疏检索长期落后于单向量与 late-interaction 模型,主因是训练极难收敛、条件苛刻。论文的关键贡献:- 分析 logit 分布对训练稳定性与最终稀疏度的影响;- 提出逐位置 fan-out 硬上限,限制每个位置可激活的词表维度数;- 引入词表合并策略,去除大小写 BPE 骨干中常见的大小写/词边界冗余变体。应用于 LateOn 骨干后,SPARSEUP 在 BEIR-13 上达到 56.4 平均 nDCG@10,是已知的 150M 参数以下公开词表型稀疏编码器中最高成绩。论文与模型均在 arXiv 和 Hugging Face 开放。
所属事件:Linkup 发布 SPARSEUP 论文,稀疏检索器刷新 BEIR 纪录(2 条相关)→
「研究」频道最新
- 基础模型 log 困惑度被指极强预测 Epoch 与 OpenAI 能力指标 — stochasticchasm · 2026-11-23
- 研究者:RL 中用 ECHO 类 SFT 损失可免受「仅诱出能力」质疑 — stochasticchasm · 2026-11-23
- theshawwn 提议:人写高层证明,AI 补全引理细节 — theshawwn · 2026-11-23
- Claude 补充证明压缩思路:Lean blueprints、Lamport 结构化证明与 Gödel 加速定理 — theshawwn · 2026-11-23
- 两人实验室 GSI 宣布八大领域 250+ 突破:不堆算力,靠专用求解器 — udmrzn · 2026-11-23
- Geoffrey Irving:统计物理可为对齐研究提供新思路 — AndrewCritchPhD · 2026-11-23