免 OCR 视觉文档检索入门，池化可省一半索引仅损 0 性能

tomaarsen · x · 2026-08-18

晚期交互是视觉文档检索的当前最优方案：用文本查询直接检索页面图像，图表与表格完整保留、无需 OCR。ColPali 系 checkpoint 在 v6.0 中走完全相同的两次调用，MaxSim 将查询文本 token 与图像 patch 打分。同帖介绍 HierarchicalTokenPooling（Clavié、Chaffin 与 Adams 的工作）：对每个文档的 token 向量做 Ward 联动层次聚类，仅保留约 1/poolfactor 的向量；poolfactor=2 时索引减半，BEIR 性能保持在未池化的 100.6%。可按调用应用、独立使用或直接烘焙进模型。