微软 EigenLI:用谱方法压缩 ColBERT 表示,优于 MUVERA 单向量基线
_reachsumit · x · 2026-09-09
微软提出 EigenLI，一种无需训练的谱近似框架，用于压缩 ColBERT 式 late-interaction 检索表示：
- 核心观察：late-interaction 文档的 token 向量天然集中于低维子空间，保留大部分检索信号，因此可用每文档特征方向构建降维交互表示，索引与存储成本远低于全量 MaxSim。
- 效果：k≤32 的 EigenLI 在 ColBERTv2 与 AnswerAI-ColBERT-small 上优于 k-means 和 Ward 聚类池化；GTE-ModernColBERT 在 k=32 时聚类法反而更好，说明存在模型相关的权衡。
- 附带产物：同一谱构造还能导出 ANN 兼容的单向量表示 EigenLI-SV，在多数据集、三个模型上一致优于 MUVERA 等可比单向量替代方案。
所属事件:微软 EigenLI 论文：免训练谱方法压缩 ColBERT 表示(2 条相关)→
「研究」频道最新
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27