可训练[DUMP]前缀token减少检索嵌入表示干扰
nlpai-lab · hf · 2026-11-06
韩国高丽大学等机构的新论文提出一种极简方法：在嵌入模型训练时在输入前拼接可训练的 [DUMP] 前缀 token，通过标准对比检索目标优化这些前缀位置，减少池化压缩过程中残留的无效 token 级信号（如 attention sink 伪影、循环位置模式）对最终表示的干扰。
方法不改变模型架构、池化策略或训练损失，在标准检索与长上下文基准上均有提升，是一种低成本改进检索表示的即插即用技巧。
所属事件:高丽大学等提出[DUMP]前缀token提升检索嵌入质量(2 条相关)→
「研究」频道最新
- 作者实测:三份 ICLR 审稿意见 91%+ 由 AI 生成 — TuhinChakr · 2026-11-06
- 密歇根大学研究：生成式 AI 处理非英文文本能耗最高达英文 180 倍 — radamihalcea · 2026-11-06
- 开源决策模型 Drex 发布:Drex Max 决策基准超 Jev 1.14 — arankomatsuzaki · 2026-11-06
- IEEE TNNLS 与 TMLR 公开招募审稿人，可表单报名 — jindong_wang92 · 2026-11-06
- CORAL 登 Nature Genetics:图学习统一多尺度空间组学数据 — elhamazizi · 2026-11-06
- UCL 心智与机器计划 2026 研讨会将聚首 Friston 与 DeepMind 研究员 — weballergy · 2026-11-06