Spotify 用 SGLang 单次请求批量打分，砍掉播客推荐逐候选请求开销

ying11231 · x · 2026-10-24

Spotify 工程团队发文详解其 LLM 驱动的播客生成式推荐系统的生产级推理架构：

架构背景：基于 PLUM 论与 Semantic ID 生成式检索的思路，用束搜索（beam search）在 LLM 输出空间中并行探索多条 token 序列路径，实时生成候选播客。
候选打分优化：传统做法是 fan-out——为每个候选单独发一次请求再提取 logprobs，成本随候选数线性上涨。Spotify 采用 SGLang 的 Score API，利用 multi-item scoring 与候选掩码（candidate masking）技术在单次请求内完成多候选打分：共享前缀（系统提示+用户历史）的 KV 缓存只算一次，每个候选 token 块只与自身和前缀做注意力隔离，在块边界读取 log(Yes)/log(No) 即可一次性算出全部得分并排序。
合作方：该特性由 LinkedIn 工程团队参与贡献，Spotify 也与 NVIDIA 就 TensorRT-LLM 推理优化展开合作。

对做 LLM 排序/推荐类应用的团队来说，这是一份可直接借鉴的推理降本实践。

「Infra」频道最新