从 query 感知上下文压缩器蒸馏分级 chunk 相关度，免重标适配任意切分

antoine_chaffin · x · 2026-11-03

训练方案：从 query 感知的上下文压缩器中蒸馏分级 chunk 相关度。教师模型对每个 token 打分，再在任意 chunk 边界上聚合这些分数，得到更丰富的监督信号，且无需重新标注文档即可适配任何 chunking 策略。

配图说明标注方式对比：传统训练只有一个 relevant chunk、其余全标 irrelevant；而 pplx-emvbed-v2-context 给每个 chunk 打分（answer chunk 最高，提供上下文的 chunk 得中等分，无关 chunk 接近 0），分数来自 Perplexity 答案管线中的上下文压缩模型，chunk 分数构成文档内的分布供模型拟合，另加文档级对比损失。