微软 EigenLI:用谱方法压缩 ColBERT 表示,优于 MUVERA 单向量基线
_reachsumit · x · 2026-09-09
微软提出 EigenLI，一种无需训练的谱近似框架，用于压缩 ColBERT 式 late-interaction 检索表示：
- 核心观察：late-interaction 文档的 token 向量天然集中于低维子空间，保留大部分检索信号，因此可用每文档特征方向构建降维交互表示，索引与存储成本远低于全量 MaxSim。
- 效果：k≤32 的 EigenLI 在 ColBERTv2 与 AnswerAI-ColBERT-small 上优于 k-means 和 Ward 聚类池化；GTE-ModernColBERT 在 k=32 时聚类法反而更好，说明存在模型相关的权衡。
- 附带产物：同一谱构造还能导出 ANN 兼容的单向量表示 EigenLI-SV，在多数据集、三个模型上一致优于 MUVERA 等可比单向量替代方案。
「研究」频道最新
- 往机器人 VLA 模型里加希腊语:双语训练可提升性能但远逊英语 — KIEFERSA · 2026-09-09
- Transformer 早编码晚启用:对对话者专业水平的推断各层何时生效 — Mika Okamoto · 2026-09-09
- Cadence:用时序基础模型实现误差有界的有损时间序列压缩 — Roberto Tacconelli · 2026-09-09
- ECCV 2026 第四届 Perception Test 挑战赛聚焦城市级空间智能 — AjdDavison · 2026-09-09
- Meta 研究员分享 capi 训练技巧:按批次比例丢弃样本保住 GPU 效率 — TimDarcet · 2026-09-09
- Common Crawl 发布实验性图嵌入数据集,覆盖 5290 万网站主机 — lhoestq · 2026-09-09