可学习 soft top-K 稀疏化方案入选 SIGIR 2026,大幅压缩 LLM 稀疏检索向量
_reachsumit · x · 2026-10-05
arXiv 论文(编号 2610.02572,已被 SIGIR 2026 接收)提出一种自适应稀疏优化方案:结合可学习 soft top-K、逐词项阈值和 FLOPs 正则,来缩短 LLM 语义扩展生成的稀疏查询/文档向量。在 MS MARCO 和 BEIR 上用 Lion-SP 模型验证,平均查询与文档长度显著缩短,检索延迟和存储成本明显下降,同时相关性保持竞争力。核心痛点是 LLM 词表过大导致稀疏向量过长,拖慢检索。
「研究」频道最新
- 训练进执行 harness,Qwen3-14B 在 Spider 2.0 从 22.2% 飙到 54.8% — omarsar0 · 2026-10-11
- REMAG 发布:磁性材料 DFT 计算 GPU 化,特定化合物提速达 111 倍 — CatAstro_Piyush · 2026-10-11
- Yoav Goldberg 炮轰 COLM: RL 损失微调算不上科学 — yoavgo · 2026-10-11
- 斯坦福研究:Agent 循环卡顿改 harness,计划差就得训权重 — rohanpaul_ai · 2026-10-11
- 哈佛医学院 ToolUniverse 工作坊:给 AI 配 2700 个科学工具造 AI 科学家 — marinkazitnik · 2026-10-11
- Mark Tenenholtz：RLVR 易得红利枯竭，「品味」类任务成下一前沿 — marktenenholtz · 2026-10-11