紧凑检索器的分数蒸馏
_reachsumit · x · 2026-07-14
## 紧凑稠密检索器的分数蒸馏方法 这篇研究提出一种 **score-only distillation** 协议：只利用教师模型输出的分数向量，就能训练更紧凑的 dense retriever，不需要访问教师的内部参数或额外监督信号。 论文结果称，这种方法可以恢复基座模型到教师模型之间**最多 50%** 的性能差距，说明仅靠黑盒分数也能做出有效蒸馏。
_reachsumit · x · 2026-07-14
## 紧凑稠密检索器的分数蒸馏方法 这篇研究提出一种 **score-only distillation** 协议：只利用教师模型输出的分数向量，就能训练更紧凑的 dense retriever，不需要访问教师的内部参数或额外监督信号。 论文结果称，这种方法可以恢复基座模型到教师模型之间**最多 50%** 的性能差距，说明仅靠黑盒分数也能做出有效蒸馏。