可训练 [DUMP] 前缀 token 吸收噪声,提升编码器与解码器检索效果
_reachsumit · x · 2026-11-06
论文提出一种极简方法:在嵌入模型训练时给输入前面加可训练的 [DUMP] 前缀 token,让它们在编码时与常规 token 交互,吸收注意力沉降等造成的无信息残留信号,再在池化前降低其对最终表示的影响。
- 不改动模型架构、池化策略与训练损失,只用标准对比检索目标优化新增 token
- 在标准检索与长上下文基准上,编码器与解码器嵌入模型均稳定超过微调基线
- 分析显示 [DUMP] token 改变了低信息 token 的激活与注意力模式
- 被 CIKM 2026 接收
「研究」频道最新
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重 — burkov · 2026-11-06
- AI 研究者：后训练数据管线仍高度人工，自动化远未到来 — menhguin · 2026-11-06
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06
- 免训练投机解码框架加速全双工语音模型,显著降低响应延迟 — CUHKSZ · 2026-11-06