18B 教师蒸馏出共享向量空间的 9B/0.6B 学生,实现跨模型检索

antoine_chaffin · x · 2026-10-08

这组模型的关键特性:9B 和 0.6B 共享同一个 embedding 空间,支持跨模型检索,非常适合生产环境。训练方式是先用对比学习训练一个 18B 教师,再用 LEAF 式表征蒸馏把 9B 和 0.6B 学生蒸馏出来,使学生在每个 token 上与教师输出对齐,结果两个模型落在同一多向量空间中。

作者也解释了为什么做多模态:真实语料不是干净文本,PDF、幻灯片、扫描件、图表、表格很多;解析加 OCR 昂贵且有损,布局、表格和图会丢失。他们的模型直接嵌入渲染后的页面,文本查询即可检索页面本身,自然图像也适用。