研究揭示嵌入模型常无视检索指令,加入干扰项微调可显著改善
_reachsumit · x · 2026-10-08
Turku 大学团队在 arXiv 发布论文《Your Prompt Should Do More》,研究提示式嵌入模型在非对称检索任务中如何处理检索指令。
- 核心发现:当候选池中包含与 query 相似的干扰文本时,嵌入模型往往无法遵循哪怕简单的任务指令,检索 prompt 中的指令实际上常被忽略。
- 原因分析:作者认为这一行为源于当前嵌入模型的训练设置与评测方式——评测缺少 query 侧干扰项,模型没有被逼着真正理解指令。
- 改进方法:在微调时加入 query 侧干扰样本,可带来大幅提升,且对其他任务影响极小。
作者为 Amanda Myntti、Jenna Kanerva、Veronika Laippala、Filip Ginter。
「模型」频道最新
- 用户质疑 xAI 限流池化不合理:视频生成与推理服务器并不共享,要求重置人为额度 — TinfoilTricorn · 2026-10-08
- 用户质疑 xAI 计费口径：视频生成与推理共用同一额度池不合理 — TinfoilTricorn · 2026-10-08
- 网友称 Qwen3.8-Flash-Next-NVFP4 音色神似 Opus 4.5 — natesiggard · 2026-10-08
- 开发者实测：DeepSeek 是性价比最高的模型，DSH 表现出色 — sull · 2026-10-08
- 博主实测个人助理 Agent:Grok 大幅领先,Muse 尚可,Dots 仍需打磨 — elonmusk · 2026-10-08
- 跑分对比引热议:更小的 Claude Haiku 5.5 分数反超 GLM 5.3 Flash — rickasaurus · 2026-10-08