LAMAR: An Open Language-Aware Multilingual Alignment Reranker
Seongtae Hong, Youngjoon Jang, Jungseob Lee, Seungyoon Lee, Heuiseok Lim
cs.IR
2026-07-24
现有多语言 reranker 在语义等价候选里不优先选与查询同语言的文档,英文最严重。LAMAR 用英语锚定蒸馏加语言一致性对齐,0.6B 压过 1B 到 4B。
多语言 RAG 里,retriever 捞回来的文档可能是多种语言,reranker 排完再喂给生成模型。这篇先指出一个问题:即便文档语义等价,用什么语言写的会影响生成质量,跟查询同语言的文档通常生成 F1 更高(在 XQuAD 平行数据上测 Qwen2.5-32B 和 Llama-3.3-70B 都是如此)。
然后他们实测发现现有 reranker 没把这当回事。用 XQuAD 12 语言构造一个 oracle 候选集(每个查询每种语言都有金标文档),只把同语言那篇算相关,结果几个主流 reranker 并不优先排同语言文档。最反直觉的是英文:Jina-reranker-v3 给英文查询把英文文档排第一的比例只有 27.2%,Qwen3-Reranker-4B 只有 20.9%,反而是中文、泰文文档经常被排到前面。所以问题变成:既要把相关排在不相关前面,又要在语义等价的候选里把同语言文档顶上去,还不能伤语义排序。
LAMAR 是个 0.6B 的 cross-encoder(基于 bge-m3-retromae),两阶段训练。
第一阶段,英语锚定多语言相关性蒸馏。每条样本有一对语义对应的英文锚点和一对多语言对,教师(Qwen3-Reranker-4B)给英文对打分,学生给多语言对预测分数,用 MSE 把学生拉向教师的英文分。选英语当锚是因为英文对能给出稳定的教师信号,把所有多语言对对齐到同一个语义相关性尺度上,跟输入语言无关。
第二阶段,语言一致性偏好对齐,联合目标 Lrank 加 λ 乘 LLC(λ=2)。对一个源语言查询,构造平行文档组(正源、正目标、负源、负目标),希望排序是正源大于等于正目标、再大于负源大于等于负目标。Lrank 是 listwise 排序损失(ADR-MSE),保住正负区分但不强制源和目标两版的相对顺序;LLC 用 softplus 作用于分数差,把同语言更高的偏好处加在正负两组上,不设硬边界。
为什么两阶段:第一阶段单独只能给一致的语义尺度,语言偏好很弱;第二阶段的 LLC 才是语言一致性的来源,Lrank 负责正负区分。消融里去掉 LLC,语言一致性评测(XQuAD nDCG@10)直接掉 30 点;去掉 Lrank,通用排序(MIRACL)掉。
训练数据:第一阶段 6.7M 条(MMARCO 14 语、MIRACL 51 语、RLHN 英文),第二阶段 8.6K 条 listwise(MIRACL 51 语两两配对)。
语言一致性(平行 oracle 子集,XQuAD 12 语加 BELEBELE 14 语):
| 模型 | 参数 | XQuAD nDCG@1 | 平均@1 |
| Qwen3-Reranker-4B | 4B | 33.03 | 38.17 |
| bge-reranker-v2-m3 | 0.6B | 84.67 | 84.75 |
| llama-nemotron-1b-v2 | 1B | 95.83 | 95.08 |
| LAMAR | 0.6B | 96.89 | 95.78 |
LAMAR 在 XQuAD 和 BELEBELE 上 nDCG@1、@10、MRR 全第一,0.6B 压过 1B 到 4B,12 种语言每种单独看也都是最高。反差最大的是 Qwen3-Reranker-4B:它在 MTEB 通用重排上均分第一(87.34),但在语言一致性上垫底(33.03),而它正是 LAMAR 第一阶段的教师。
通用重排没掉:五个 MTEB 多语言重排基准平均,LAMAR 86.84 排第二,只输给 6.7 倍大的 Qwen3-4B(87.34);MIRACL 多单语 18 语 69.5 排第二。实战检索(XQuAD 上对 top-20 重排,bge-m3 召回)三项指标全第一,nDCG@1 为 92.90。
对做多语言 RAG 的人,这篇把「文档语言会影响生成」这条从前被忽略的线拎出来,证明主流 reranker 普遍没顾上,然后给了一个 0.6B、开放权重、即插即用的修法。它还顺带戳破一个直觉:大不等于全,4B 的 Qwen3-Reranker 通用能力第一却栽在语言一致性上。两阶段(英语锚定蒸馏加语言一致性对齐)这个配方可复用。
这篇没有专门的 Limitations 节,结论全往好了说,这本身是个问题。几个读下来觉得没站住的点: