AdaMerge:免调参的视觉文档检索压缩,按文档自动定位合并悬崖
_reachsumit · x · 2026-09-22
论文提出 AdaMerge,一种免调参的多向量视觉文档检索(VDR)patch 压缩方法。
- 背景:ColPali、ColNamic 等多向量 VDR 模型每篇文档需数百到上千个 patch 嵌入,存储与延迟成本高;现有压缩方法如 PtM 虽优于纯剪枝,但需按数据集网格搜索聚类预算 m。
- 关键观察:层次聚类的 merge-cosine 序列存在一条明显「悬崖」,分隔可合并冗余与显著信号,且该悬崖位置在 14 个数据集、超 1.1 万篇文档中集中在一个窄带内——意味着可按单篇文档检测而非按数据集调参。
- 方法与效果:AdaMerge 通过 merge-cosine 轨迹的 gap 分析逐文档检测悬崖,并用注意力加权聚类中心保留显著信号;在长文档基准 ViDoRe-V2 上显著优于调参后的 PtM(p < 10^-4),即插即用、无需训练。
「研究」频道最新
- 谷歌 ScientistTwo 自动科研系统:107 道题攻克 80.4%,超人类 SOTA — thisdudelikesAI · 2026-09-22
- 腾讯混元推出 WebCraftBench:Agent 实测网页应用,人偏好匹配度 85.3% — TencentHunyuan · 2026-09-22
- Sarah Hooker 提议收 1 美元投稿费,测 AI 研究 agent — MannyKayy · 2026-09-22
- 曝 OpenAI 新模型训练仅 24 天已解决百余个数学开放难题 — BilelKort · 2026-09-22
- Boltzbit 预告论文：BAST 架构称 LLM 学习速度可达 SOTA 千倍 — jmhernandez233 · 2026-09-22
- MiMo v2.6 用 GRS 与 GAR 重定义 RL 里的「好答案」 — tokenbender · 2026-09-22