新方法蒸馏分级 chunk 相关度，改进上下文嵌入训练

Perplexity 团队指出以往上下文化嵌入模型的核心训练缺陷：假设每个查询只有一个「金标 chunk」，其余全部当作负样本，导致支持性上下文（如定义实体、解析指代的内容）被误认为干扰项。改进方案是从 query 感知的上下文压缩器中蒸馏分级 chunk 相关度：教师模型对每个 token 打分，再在任意 chunk 边界上聚合这些分数，从而获得更丰富的监督信号，且无需重新标注即可适配任意切分方式。

2026-11-03 ~ 2026-11-03 · 2 条相关