多向量嵌入模型实战指南：MaxSim 检索原理与索引瘦身

tomaarsen · x · 2026-08-18

Tom Aarsen 与 LightOn 两位作者发布配套博客，系统讲解多向量（晚交互）嵌入模型的实践：

原理：与 dense 模型把全文压成一个向量不同，多向量模型为每个 token 保留一个向量，用 MaxSim 打分——每个查询 token 在文档中找最佳匹配再求和，对齐不依赖词面（如 live 以 0.94 匹配 inhabit）。
收益与代价：LightOn 用同一 149M ModernBERT 骨架训练的 LateOn（多向量）在 13 个 NanoBEIR 数据集中赢下 9 个，平均 nDCG@10 为 0.6868 vs 0.6764；代价是索引体积约 16 倍（4,874 篇 NQ 文章膨胀到 311.5 MB）。
瘦身方案：HierarchicalTokenPooling 用 Ward 聚类只保留约 1/poolfactor 的 token 向量，poolfactor=2 时索引减半、BEIR 性能保持 100.6%；或用真正的晚交互索引，或退而做 reranker。
视觉文档检索：ColQwen-Omni 支持文本/图像/音频/视频多模态查询，零样本检索录音对话无需转写；ColPali 系列可直接用文本查询页面图像，免 OCR。
生态统一：v6.0 中 PyLate、Stanford-NLP ColBERT、ColPali 式 VLM 等各类 checkpoint 走同一 API 加载，PyLate 的能力与原作者合作并入 Sentence Transformers。

「编程与Agent」频道最新