谷歌 RPTune:学出来的目录策展让 LLM 商品搜索最高提 31.4 点

RPTune: Learned Context Curation for LLM Catalog Search

Chuxuan Hu, Hejie Cui, Norman Huang, Shubham Kumar Bharti, Wang-Chiew Tan, Sercan Ö. Arık

cs.IR, cs.CL, cs.LG

2026-10-01

面向小商家全目录 LLM 搜索,学出来的目录策展加 GRPO 后训练让九个模型平均提 13.5 点、8B 模型从 10.7% 升至 31.0%。

这篇在解决什么

商品搜索技术栈是为大平台建的:多路召回、粗排精排、专职 ML 团队、海量用户行为信号。Shopify 上 300 万家活跃店铺里的小商家(small merchant business,SMB)几乎一样都没有。论文先量了这个场景的规模:56 家真实 Shopify 店铺里,92.9% 的商品目录不超过 1M token,中位数只有 51K token。也就是说,现代长上下文 LLM 可以把整本目录放进 prompt,直接联合推理选出商品,跳过检索管线。用 gemini-3.7-flash 做共同 backbone,全目录 prompting 的平均 EM 比所有检索类基线至少高 9.0 点,延迟 8 秒,不输检索管线。

但「放得下」不等于「用得好」。LLM 对长上下文的利用不均匀,埋在中部的相关信息利用率明显更低(lost in the middle)。论文因此拆成两个问题:目录怎么整理呈现;LLM 怎么适配这种呈现。

方法

RPTune(Rank、Prune、Finetune)分三段,训练信号全部来自目录本身合成的数据,不碰商家标注和用户日志。

合成监督:用 gemini-3.1-pro 给每个商品变体写 10 条一两句的短查询,再给每条查询对全目录逐个变体打 0 到 1 的分级相关度分(每批 10 个变体,带历史分数字典保持全局一致)。分级分数是为了覆盖部分匹配和近似替代品。
Encoder:从 EmbeddingGemma 300M 出发,用 MNRL(批内负例对比损失)训练,把查询和商品拉进同一语义空间。
Reorganizer:在 encoder 相似度上加一个 MLP 修正项,得到每个商品的 context-priority 分数;按分数保留前 25%(默认预算),再按升序排列,最相关的商品离生成端最近。MLP 用 LLM-in-the-loop 的 RL 训练:冻结下游 LLM,让它对策展后的上下文采样 G 次选择,奖励查预计算的相关度表(选到目录外给 -1),组内标准化算优势(GRPO 式),梯度经 reorganizer 分数的 softmax 传回。策展优化的目标是「LLM 读起来顺的上下文」,不是检索指标。
LLM 后训练:冻结策展器,用 GRPO 在策展后的目录上训 LLM。奖励是 context-relative 的:选了策展目录里相关度最高的商品给 +1,选了目录里其他保留商品给 0,幻觉出目录外商品给 -1。剪枝剪掉全局最优时,选保留集中最好的仍有正奖励,学习信号不断。

结果

在 7 家真实商家(目录 37.5K 到 127K token)、每家 100 条复杂对话式查询上评测,每方法跑 10 次取平均。

设置	指标	结果
全目录 prompting vs 最强检索基线(gemini-3.7-flash)	平均 EM	36.8 vs 27.8
策展,9 个冻结 backbone	EM / FR	平均 +13.5 / +10.1,63 个组合全部改善
grok-4.1-fast-non-reasoning + 策展	EM	12.8% 到 31.1%,翻倍以上
gemma-4-E4B-it 完整流程	EM / FR	10.7% 到 31.0%;FR 56.7 到 74.4
后训练增量	EM	策展之上再 +10.3
端到端延迟,9 个 LLM	秒	平均降 28%,最高 71%

单商家单模型的最高增益是 31.4 点(grok-4.1-fast-non-reasoning 在 Beauty Bakerie 上从 14.8 到 46.2)。同样 25% 保留预算下,换成 Jina Reranker 3.5 有 5/7 家掉点,Gemini Embedding 2 有 3/7 家掉点,RPTune 7 家全涨,说明增益来自学出来的策展,不只是剪短上下文。消融里最硬的一条:把 reorganizer 的 RL 目标换成对相关度标签做监督 listwise 拟合,EM 只有 16.4%,和 encoder 单打独斗持平,比 RPTune 低 4.3 点,LLM 反馈的价值有干净证据。泛化也站得住:目录靠注入新品翻倍后,后训练版相对降幅 14.7%,基线降 29.5%;7×7 跨商家迁移全部为正,域外平均 +18.1 EM。按 Figure 1 的口径,策展带来的精度相当于升一档模型,同时最多 21× 提速;后训练把 8B 的 gemma 拉到与前沿模型相当的精度区间。

为什么重要

对从业者,这是一份「长上下文直接推理替代 RAG」的完整落地配方,适用边界很清楚:候选集装得进上下文。小电商之外,企业内部选型、agent 在几十上百个工具或商品里做选择,同一套思路都能搬。工程分工值得抄:300M encoder 加一个 MLP 做上下文工程,大模型只看 25% 的目录,延迟反而更低;训练全程零人工标注,有商品元数据就能启动。context-relative reward 对任何「先剪上下文再做 RL」的 pipeline 都是现成的设计。

也要说清:对比学习、GRPO、位置敏感性都是已知件,这篇的贡献在组合与任务化,属于渐进但完整的工程论证。

局限与存疑

论文没有单列局限节,以下是读出来的存疑:

评测查询是合成的(gemini-3.1-pro 扮演顾客,共识过滤保留 31.9%,人工审核拒掉 9.6%),不是真实用户行为;EM 只认单一最优变体,真实搜索要 top-k。
训练标签全部是 gemini-3.1-pro 的相关度打分,上限就是这家模型的判断,论文没量化它与真实购买意图的一致性。
后训练只在 gemma-4-E4B-it 一个开源模型上验证,另外 8 个 backbone 只测了冻结加策展,「后训练普遍有效」还没有证据。
设定是单轮查询;目录最大约 127K token,再往上回到 RAG 的地盘,论文没讨论。
延迟混着多家 API 模型,排队状况不同,跨家族的延迟对比只能当量级参考。

术语

SMB:small merchant business,小商家,这里指 Shopify 上的独立店铺。
EM:exact-match accuracy,预测与标注答案的商品变体完全一致的占比。
FR:feature reward,选中商品与答案商品的属性加权匹配率,衡量部分正确。
MNRL:Multiple Negatives Ranking Loss,用批内其他样本当负例的对比学习损失,双塔检索模型标配。
GRPO:Group Relative Policy Optimization,同一查询的多个采样组内标准化奖励再算优势的 RL 算法。
lost in the middle:长上下文里放在中部的信息利用率低于首尾的现象。

原文与代码

社区讨论

谷歌 RPTune 论文:目录策展+后训练让小商家 LLM 搜索精度提升 31.4 点 _reachsumit