LLM 稀疏检索新法：索引存储省 6.4 倍、查询延迟降 11 倍
_reachsumit · x · 2026-10-16
arXiv 新论文《Aligning LLMs with Sparse Retrieval via Adaptive Sparse Supervision》提出一种基于 LLM 的稀疏检索框架:
- 核心方法:引入动态 α-截断策略,按 SPLADE 表示的累积激活质量选择输入相关的监督支撑集，引导 LLM 保留关键词汇信号、抑制低信息激活，不依赖固定支撑预算；再结合对比学习、知识蒸馏与稀疏正则做检索微调。
- 效果:在 MS MARCO 与 6 个 BEIR 数据集上超过 SPLADE++;相比 Lion-sp,索引存储降至 1/6.4,端到端查询延迟降 11 倍以上，兼顾效果与效率。
「研究」频道最新
- Nature 论文用 LLM 绘制人类语言神经元地图,机制可解释性已成现实 — raphaelmilliere · 2026-10-16
- 审稿人自述:把写好的审稿意见喂给 AI 复查,论文本身不上传 — StingMeleoron · 2026-10-16
- OpenAI proofdump 把 3SUM 纪录推向 O(n^1.921),Lean 验证通过 — iskander · 2026-10-16
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- 经济学家的历史镜鉴:拖拉机冲击下美国青少年延长在校时间 — soumitrashukla9 · 2026-10-16