DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation
Zhuchenyang Liu, Ziyi Wang, Yao Zhang, Yu Xiao
cs.IR, cs.CL, cs.CV
2026-08-11
DistilVDR 把视觉文档检索从 8B 蒸馏成 524M 单向量模型:文档侧给足视觉容量、查询侧压到 70M,无需负采样。HiRes 版达 61.74 NDCG@5(教师的 86.9%),索引比最强 sub-1B 基线小 15.6 倍。
视觉文档检索(Visual Document Retrieval,VDR)的任务是:给一句文本查询,从一堆文档图片里找出最相关的那页。这类系统现在被 20 亿到 80 亿参数的大模型主导(Qwen3-VL-Embedding-8B 这类单向量、Tomoro-ColQwen3-8B 这类多向量),索引百万级文档要花几十 GPU 小时,在线服务也贵。已有的压缩路线有两条问题:从头训练小一些的多向量编码器,索引体积膨胀 16 倍、打分延迟涨 100 倍;或者只蒸馏查询侧,仍拖着庞大的文档编码器。谁也没给出一个端到端的紧凑单向量检索器。
DistilVDR 从一个冻住的 8B 教师(Qwen3-VL-Embedding-8B)做双向蒸馏,输出一个 524M 的单向量检索器,总参数里文档编码器 454M、查询编码器 70M。
不对称设计是关键。VDR 的输入天然不对称:查询是文本、文档是图像。学生也做成不对称:文档侧用 InternViT-300M 视觉编码器加 ModernBERT-base 把视觉容量堆足,查询侧只用 DistilBERT-base 加一个线性投影,压到 70M。两个学生训练时从不共享一次前向,文档侧和查询侧的蒸馏完全解耦。
目标函数极简:纯逐样本余弦对齐(pointwise cosine alignment),让学生的输出向量去贴教师冻住 embedding 空间里的目标向量。因为教师本身是用相关性监督训出来的,学生借这个空间就能学到检索能力,不需要相关性标签、不需要负采样、不需要对比损失项。两个变体 HiRes / Fast 共用同样的编码器和训练,只差文档侧的视觉分块(visual tile)预算:HiRes 6 块、Fast 2 块。
在 ViDoRe v1+v2+v3 共 22 个数据集上算平均 NDCG@5:
| 模型 | 参数 | 类型 | v1 | v2 | v3 | 平均 |
| Qwen3-VL-8B(教师) | 8.1B | 单向量 | 87.31 | 69.76 | 56.07 | 71.05 |
| DistilVDR-HiRes | 524M | 单向量 | 82.81 | 55.34 | 47.07 | 61.74 |
| DistilVDR-Fast | 524M | 单向量 | 81.34 | 54.95 | 43.66 | 59.98 |
| colSmol-500M | 478M | 多向量 | 82.42 | 43.09 | 33.52 | 53.01 |
HiRes 保留了教师 86.9% 的质量,在 sub-1B 基线里领先最强的 colSmol-500M 8.73 分,平均分甚至超过 2.2B 的 DSE-Qwen2 和 2.9B 的 ColPali v1.3。在高分辨率敏感的 v3 上优势最大(47.07 对 colSmol 的 33.52)。把 9.31 分的教师差距拆开:文档侧占 6.03、查询侧占 4.69,说明视觉文档侧才是主要瓶颈,也印证了把视觉容量堆在文档侧的取舍。
效率上,Fast 达到 99.04 文档/秒、2.10 GB 显存;索引每百万文档 16.4 GB,比多向量基线的 256 GB 小 15.6 倍;给一万篇文档打分只要 9.6 毫秒,多向量方案要 1100 到 3200 毫秒。
VDR 是 RAG 处理扫描件、PDF、截图这类「文字在图里」文档的入口能力,而落地的成本墙就在索引和服务开销。DistilVDR 把一个 8B 能力压进 524M 单向量、索引缩到原来的十几分之一、打分快两个量级,同时平均质量还在 sub-1B 里领先甚至越级打 2-3B 模型。对要在企业语料上大规模建文档检索索引的团队,这是直接可用的工程路线,代码也已开源。
作者自己列得很清楚:学生受限于教师 embedding 空间,教师的弱点会继承;基线是按官方 release 比,没有在同等预算下重训,也缺同架构的对比训练对照;只测了一个教师家族和规模;离 4-8B 多向量模型还差 7-10 分,尤其 v3 高分辨率场景;查询塔只处理文本、且基本限拉丁字母,多语种和非文本查询没覆盖;没测标量量化、乘积量化、二值哈希这些进一步压缩手段。在企业自有的特殊版式语料上质量能否迁移,也没有验证。