Decision-Oriented Recommendation Reranking: An Empirical Study of Jev
Hanjia Lyu, Yinglong Xia
cs.IR, cs.CL
2026-10-01
受控实验里,决策模型 Jev 的重排质量不输 pointwise Qwen,延迟随候选数增长平缓得多,绝对延迟仍远高于 SASRec 等专用模型。
工业推荐系统是分级漏斗:召回先从全量物品里筛出几百个候选,精排再定最终顺序。LLM 给重排开了条新路,直接读用户历史和候选物品的文本做推理,代价是推理开销。现有两种 LLM 重排范式各有各的疼:pointwise 逐个候选问「用户下一个会不会交互」,判断细,但调用量随候选数线性涨;listwise 把整个列表一次喂进去,调用少,候选一多就排不准顺序。线上重排动辄几十上百个候选,还要卡延迟预算,这个矛盾躲不开。
TypeSafe AI 的 Jev 是第三条路。厂商称之为「System One Model」:不生成自由文本,接收上下文状态和一组选项,直接返回每个选项的概率。重排恰好长成这样,用户历史是状态,候选物品是选项,概率就是排序分。这篇不提新架构,只在受控设置下把 Jev、专用推荐模型和 Qwen 重排器放到同一批用户、同一批候选上,量出各自的质量-延迟曲线。作者来自新加坡管理大学和 Meta AI。
实验核心是「受控难候选集」,把比较条件控到苛刻:
对照分三族:SASRec 直接沿用原始召回分;DCNv2 做特征交叉打分;Qwen2.5 7B Instruct 跑 pointwise(逐条取「是/否」logit 算概率)和 listwise(全列表给出候选标签,logits 归一化)两版,都不做自由文本生成。Jev 走 hosted API,历史当状态、候选当选项,返回概率直接当排序分。指标为 NDCG@10(主指标)、HR@10、MRR 和每用户延迟。本地模型共用一张 A800-80GB,Jev 的延迟含网络和服务端开销,论文因此称之为「观测服务延迟」。
质量上 Jev 全程不掉队:Movies and TV 上与小 K 时最强的 Qwen 配置相当;Video Games 和 Books 上,多数候选规模下 NDCG@10 高于其余所有方法。Qwen 系内部 pointwise 更强,listwise 在 K 到 100、200 时明显下滑;DCNv2 和 SASRec 垫底。所有重排方法的质量都随 K 变大而降,负例更多也更硬;SASRec 除外,候选池本就来自它的排名。
| 方法 | 质量 | 延迟随 K 的增长 |
| Jev | 三域领先或持平最优 Qwen | 平缓,K=200 仍在低秒级 |
| pointwise Qwen2.5 7B | Qwen 系里最高 | 最陡,K=200 到 10 秒量级(图 2 纵轴标到 15 秒) |
| listwise Qwen2.5 7B | 大 K 下明显下滑 | 平缓 |
| SASRec / DCNv2 | 最低 | 最低 |
质量-延迟散点(图 3)里,Jev 频繁落在经验非支配边界上,K 越大越明显:pointwise 的延迟涨远了,低延迟的专用模型和 listwise 质量又不够。论文自己把话说明白,这不是全局 Pareto 前沿,只对本次评估的基线成立。
两个可带走的结论。评估 LLM 重排器必须报候选集规模,pointwise 和 listwise 在小 K 下差距不大,到 K=100、200 完全分化,只测一个规模的结论不可信。当任务输出本来就是「从固定选项里选」时,通用 LLM 不是唯一选项,决策导向模型给了新的质量-延迟工作点:大候选集下,Jev 同时拿到接近 pointwise 的质量和接近 listwise 的延迟增长。冷水也要泼:Jev 绝对延迟仍比 SASRec、DCNv2 高一大截,低延迟场景替代不了专用模型;这只是对一个闭源 API 的实证刻画,不构成「决策模型架构更优」的证据。
论文列了三条硬限制:只测了 Jev 一个决策导向模型,范式层面不能外推;LLM 侧只有 Qwen2.5 7B Instruct,更大或闭源模型的质量上限未知;延迟没有硬件归一,Jev 走 API 含网络开销,Qwen 在本地单卡跑,部署条件不同。读下来另有几点站不稳的地方:Jev 的架构、训练和 serving 全不透明,质量优势无法归因到「决策导向」本身,也可能来自训练数据或服务端优化;受控设定保证真值在候选集内,真实管线里检索失败才是大头,重排价值会打折扣;没有显著性检验,三个域的样本量也不同(Books 只有 626 人)。引用延迟数字时,口径是观测值,不是模型本身的计算成本。