ColNanoVDR:免文档蒸馏多向量视觉文档检索,编码快 26 倍
_reachsumit · x · 2026-09-29
arXiv 论文 ColNanoVDR 首次把「免文档蒸馏」引入多向量视觉文档检索(VDR):
- 背景:基于视觉-语言模型的多向量检索器每次查询都要跑数十亿参数的查询编码器;常规蒸馏需编码并缓存每个训练页面,可达 TB 级页面 token
- 方法:OTW 目标(带可学习权重的熵最优传输)把学生查询 token 与教师对齐,无需两套 tokenization 对应,且证明该对齐代价可约束任意页面上的 MaxSim 分差
- 结果:从五个 SOTA 教师蒸馏出的 149M 纯文本学生,在 ViDoRe v1-v3 上保留约 95% 的 NDCG@5,查询编码最快提升 26 倍;同等训练下不编码任何页面、读取的教师缓存数据少 12.6 倍
所属事件:ColNanoVDR 免文档蒸馏训练多向量视觉检索,编码提速 26 倍(2 条相关)→
「研究」频道最新
- 十个月前还有人问 AI 能否先解出千禧年大奖难题 — haider1 · 2026-11-22
- Fable 5.2 直接改写权重,让只会右侧行驶的模型学会左行 — 4310sy · 2026-11-22
- IceCube 中微子众包挑战落幕,65 名志愿者助 AI 分类信号 — CatAstro_Piyush · 2026-11-22
- Michael Levin 曝光生物电初创 Morphoceuticals 进展 — drmichaellevin · 2026-11-22
- Reddit 长文:控制论视角下的「自然无外界」宣言 — Cyborgized · 2026-11-22
- 本地工具 Neshter:可视化注意力头贡献、对照随机头测量后剪枝 — Bayqus · 2026-11-22