ZooWork-ShopRanker: An Open, Preference-Aligned E-Commerce Reranker
Siqiao Xue, Shuxuan Liu, Ning Hu
cs.CL
2026-09-25
ZooWork 用跨家族推理 LLM 给真实电商流量打成对偏好标签,训出 0.6B/4B/8B 重排器。ShopRanker-8B 在 10511 对结构化基准上准确率 83.4,显著超过最强开源基线 Jina-m0 的 79.2。
开源重排器在 BEIR、MS MARCO 这类网页检索基准上已经很强。BGE-Reranker-v2-m3、Jina、Qwen3-Reranker 都走这条路。电商最后一公里要判的问题不同:两件商品都相关时,哪一件更符合买家。产品类型、明确预算、送给谁、明确排除项,都可以一票否决。
论文拿四对 gold 样本把失败模式钉死。搜 "shape sorter",四条开源基线全选成办公邮件分拣器;搜 "jumpsuit under $100 boho",全选 239 美元那件。BM25、BGE-large、BGE-v2-m3、Jina-m0 在这四对上全部踩坑。系统数字更清楚:gold 子集里,开源基线在「查询写了硬约束」上比「没写」低 14 到 20 个点,ZooWork-ShopRanker 几乎持平。预算最狠,BM25 掉到 47.9,低于随机;交叉编码器掉 26 到 34 点。相关性排序器没有理由在两件都相关时选更便宜的那件。
真实搜索流量有查询和候选,没有干净成对标签。缺口在监督,不在模型骨架。
ZooWork-ShopRanker 是挂在 Qwen3-Reranker 0.6B、4B、8B 上的 LoRA 适配器,基座权重全程冻结。打分沿用基座做法:一次前向读 yes 和 no 的 logit 差,不生成文本。对照实验里 LoRA 大约只更新 1% 参数,效果持平甚至略好于全量微调。
标签来自跨家族推理 LLM 当偏好预言机。训练侧只用 Qwen3.5-122B 和 Gemma-4-31B,两个呈现顺序都判、两家都同意才留。评测再加 DeepSeek-V4-Pro,避免基准完全由训练法官判。协议是约束优先:先核硬约束(类型、预算、收礼人、排除项),过关的再比风格、颜色、合身、品质。硬约束是查询写了什么就核什么,不是一张全局属性优先级表。手写优先级和法官偏好负相关,拿它当优化目标会反着学。
8B 旗舰直接在约 4400 条法官标签对上做 pairwise logistic 损失,等价于带温度的 RankNet,并混入通用检索回放,免得偏好对齐把相关性冲掉。0.6B 和 4B 不走同一条路:用对齐后的 8B 给约 13.5 万条 query-document 打软分,学生用二元交叉熵拟合,再在法官对上 sharpen。蒸馏比「从小模型自己对齐」更好;可行规模下,标签覆盖量压过更强的 panel teacher。
他们试过 on-policy:挖当前模型分数最接近的对再送法官。第一轮开发集 easy 从 0.836 升到 0.844,再挖就枯了。对齐把分数极化,最小间隔对变成两个都好或两个都差,法官自己打平,gold 产出从 26% 掉到 6%。边界变成法官说不清,不是挖得不够。
评测基准 ShopRank-Bench 来自 Gensmo 私有搜索流量,10511 对偏好对,结构化属性和自然语言两种写法。从 23000 对里筛出 45.7%:三家都承诺且一致是 gold(1843),两家是 silver(4445),一家是 bronze(4223)。另有 AHP 1500 对、显式预算 1302 对两条诊断轨,不并进主指标。训练切片与基准零查询重叠、零精确对重叠。
结构化主轨 n=10511:
| 方法 | Overall | Gold |
| ShopRanker-8B | 83.4 | 96.5 |
| ShopRanker-4B | 81.2 | 96.3 |
| Qwen3-Reranker-8B | 79.2 | 93.2 |
| Jina-m0 (2.4B) | 79.2 | 90.8 |
| ShopRanker-0.6B | 76.6 | 91.2 |
| BGE-v2-m3 (0.6B) | 73.3 | 84.9 |
| BM25 | 56.2 | 69.0 |
自然语言格式上 8B 81.8、4B 79.5、Jina-m0 78.1。gold 自然语言上 0.6B 到 91.2,超过 2.4B 的 Jina-m0 的 88.8。每个尺寸都显著超过自己的未对齐基座。结构化文本上,蒸馏 0.6B 与未对齐 4B 无显著差异,差 -0.9 点,95% CI 为 [-1.9, +0.2];自然语言上未对齐 4B 仍显著领先。所有系统从 gold 到 bronze 都掉 20 到 26 点,bronze 占基准 40%,聚合分会被最弱标签拖着走。
天花板不在重排器。零样本推理 LLM GLM-5.3 和 Qwen3.5-27B 结构化 overall 分别是 91.9 和 92.1,比 8B 高约 8 到 9 点,但单次调用中位时延 3.4 秒和 11.8 秒,每千对约 3.6 美元。
MTEB 三个重排任务上 4B 和 8B 平均 0.799,略高于 Qwen3-Reranker-8B 的 0.793,没有把通用重排换成电商偏好。H200、fp16 下 LoRA 合并后推理成本与基座相同;0.6B 在 batch 32 吞吐 433 docs/s,是 4B 的 2.8 倍,显存 4.5GB 对 11.2GB。BGE-v2-m3 仍快 4.6 倍、显存约三分之一:质量绑定时 decoder 更合适,吞吐绑定时 encoder 仍赢。
诊断轨更刺。AHP 上开源基线全在 50% 以下,系统性反着排;对齐后 8B 刚过 54.3。手写属性优先级和法官偏好负相关:按七个属性分别打分再线性加权,法官对上最高只到 69.5,直接学偏好的 0.6B 开发集到 82.5。显式预算上,通用偏好对齐会过冲成「尽量便宜」,真正学会阈值的是用程序化规则训的 0.6B specialist,overall 94.7。
电商搜索最后一公里一直缺开源、可复现的偏好对齐方案。这篇把「相关性不等于购物偏好」做成可测缺口,并放出三个尺寸的模型和双格式基准。对要上重排的人,结论很具体:对齐在推理时免费;结构化商品文本上,蒸馏 0.6B 能顶未对齐 4B;显式预算不要指望通用偏好学习,加硬过滤或专项监督更靠谱。这是扎实的领域对齐,不是新架构。
标签来自 LLM 法官,不是点击或购买。Bronze 基本是 Gemma 一家说了算。相邻难对里 54.3% 是平局或冲突,on-policy 干净标签有上限。自然语言是模型从属性渲出来的,不是抓来的商品文案,还会漏属性。类目偏服饰,查询偏英语和美国。训练语料不公开。AHP 和预算一起说明:对齐改的是价格偏向,装不进「遵守陈述预算」这条规则。
到推理 LLM 还差 8 到 9 点。把法官级偏好压进毫秒级重排器,这条蒸馏路还没走完。