Robust Fusion of Semantic and Behavioural Signals for LLM Reranking in Personalised Search
Aleksandr V. Petrov, Nathan Stein, Erik Lybecker, Emma Schüldt, Daniel Lazarovski, Hugues Bouchard, Mounia Lalmas
cs.IR
2026-09-22
Spotify把查询–候选历史成功率QSS写入0.6B交叉编码器提示，全特征NDCG@7涨13.3%；双样本特征dropout在去掉QSS时比始终注入高4.0%，线上搜索成功率约+2%。
个性化搜索同时要满足查询意图和用户偏好。工业界排序一直靠点击率、成功率这类行为统计吃饭，LLM交叉编码器又把这些数字变成提示词里的文本token。方便的代价是捷径学习：历史统计太好用，模型就不学语义和用户上下文，长尾和冷启动一旦缺统计就会掉点。
Spotify在音频流媒体搜索里把这个问题钉死在一个特征上。Query Slice Stats（QSS）是查询–候选–国家切片上的历史搜索成功率，对头部query–item对很强，对罕见查询和新内容经常缺失。论文要回答的不是「统计能不能进提示词」，而是「进了之后模型会不会把语义学废」。
重排器是0.6B开源语言模型，词表扩了Semantic ID，对检索栈送来的音乐、播客、有声书候选做pointwise打分。提示词拼三组证据：查询和候选的标题、创作者、类型、Semantic ID；用户的市场和近期收听；以及分桶后的流行度和QSS。QSS连续成功率按历史分位切成verylow到veryhigh五档，缺失则整段省略。模型在决策位生成Y或N，推理时用Y的对数概率当排序分。
训练用标准SFT，损失只算在标签token上。双样本特征dropout把每条有QSS的样本做成一对：x+保留全部特征，x−只删QSS，标签不变。混合损失是α·L(x+)+(1−α)·L(x−)。α=1是始终看见QSS的朴素注入，α=0是训练时完全不看QSS。随机dropout作为对照消融，期望暴露量可以和1−α对齐，但论文主推确定性配对，因为两个视图一一对应。服务时仍是一次前向、同一套提示接口，多出来的计算只在训练。
数据来自两周生产搜索日志。训练集100万session、45.2万查询、4610万候选；评估1万session。每session平均514个候选、1.3个正例。评估集34.7%的查询训练时没见过，97.8%属于出现次数≤500的长尾。指标是NDCG@7和Recall@7，截断对应产品里不滚动能看见的条数。
| 方法 | 全特征NDCG@7 | 去掉QSS |
| BM25 / monoT5 | 0.105 / 0.104 | — |
| 仅QSS | 0.494 | — |
| α=0（训练不见QSS） | 0.549 | 0.550 |
| α=0.5（双样本） | 0.622 | 0.547 |
| α=1.0（始终注入） | 0.618 | 0.526 |
α=0.5相对α=0全特征涨13.3%。α=1.0全特征涨12.6%、Recall@7涨9.5%，但去掉QSS后NDCG@7掉到0.526，显著低于从不看QSS的0.550。α=0.5去掉QSS时是0.547，与0.550统计上分不开（p=0.15），相对朴素注入高4.0%。Recall@7同样：α=0.5全特征0.756，去掉QSS为0.684，基线0.686。仅QSS已经0.494，远强于文本锚点，说明捷径本身就很硬；α=0.5仍比仅QSS高0.128。
按频率切片，双样本在冷启动查询上相对α=0大约+0.061，始终注入约+0.055，优势贯穿到频率500的长尾，只在短头（>500）反转。相对始终注入，长尾查询NDCG@7 +0.44%（95% CI 0.12%–0.75%），短头点估计−0.55%但不显著。
线上A/B/C：双样本搜索成功率+2.05%，始终注入+2.33%，两者1σ区间重叠，总盘分不出谁更好。冷启动切片上双样本相对始终注入+0.75%，1σ边界贴着零，方向和离线一致；实验不是为细切片打的功效。
把强行为特征写进LLM提示词，会改变模型学什么，不只是多一个token。生产上要用「特征在」和「特征被拿掉」两套评估，再按头、尾、冷启动切开。双样本把鲁棒性成本挪到训练，服务架构不用改，也不用另做一套降级排序器。
α=0.5已经吃到绝大部分QSS红利。始终看见统计在短头并不差，但会在缺统计时把语义学薄。线上总盘约2%的成功率和离线13.3%不是同一量纲，总盘也分不出两种QSS训练；真正要跟的是冷启动切片和诊断性的去特征评估。
完全删除QSS是压力测试，不是线上每一种部分缺失、过期或噪声的再现。用户上下文被当作提示词的一部分，没有单独拆出个性化贡献，也没有对照可学习的融合基线。线上切片功效不足。QSS只是一个平台、一个重排器上的一条统计，推广到多条相关行为特征还没做。