高丽大学等提出[DUMP]前缀token提升检索嵌入质量

韩国高丽大学等机构发布新论文，提出一种极简方法：在嵌入模型训练时于输入前拼接可训练的 [DUMP] 前缀 token，通过标准对比检索目标进行优化。这些前缀 token 在编码时与常规 token 交互，吸收注意力沉降等造成的无信息残留信号，减少池化压缩过程中的噪声干扰，从而提升编码器与解码器的检索效果。

2026-11-06 ~ 2026-11-06 · 2 条相关