研究揭示多语言检索器共享索引埋没正确文档,提出免训练修复
_reachsumit · x · 2026-10-14
论文发现多语言稠密检索器存在一个反直觉问题:同一问题用不同语言提问,共享索引下检索到的文档差异巨大,而这并非语言理解能力弱——每种语言单独看都表现良好、排序一致,分歧只出现在共享索引中:各语言的正确答案被排得很靠后,埋在本语言或英文的非相关文档之下。
- 提出 disagreement-guided steering(分歧引导转向):对比其他语言对同一问题共识的文档与该语言特有检索的文档,取表示差作为语言特定方向,在推理时加到该语言的查询上
- 免训练,无需微调模型
- 相比去语言均值、子空间移除、按语言旋转等基线,最能缓解同语言挤占,召回率保持竞争力
- 与保留排序质量更好的均值移除方法存在权衡
「研究」频道最新
- 小鹏发布自动驾驶 VLA 模型 AUGUstus,NAVSIM 双榜 SOTA 并实车部署 12Hz — XPENG-AI · 2026-10-14
- 阿里联合南洋理工系统评测对比学习策略:多数花式技巧收效甚微 — alibaba-multimodal-industrial-ai · 2026-10-14
- Lightricks 推出 APEX:层级潜空间+异步去噪,实现 64-128 倍极致压缩 — Lightricks · 2026-10-14
- EMHO:冻结模型不变,让具身智能体框架从经验轨迹自我进化 — Hyun Jung Lee · 2026-10-14
- 港中深等发布 WorldCast:分布式多人世界模型,CS2 上实时运行 — CUHKSZ · 2026-10-14
- 高丽大学发布 MixLID:token 级混合语言识别模型,覆盖 111 种语言 — Seongtae Hong · 2026-10-14