Meta 提出 KVUse:用户画像存成可复用 KV 缓存,提升 LLM 推荐吞吐
_reachsumit · x · 2026-11-18
Meta 发布 arXiv 论文 KVUse,解决基于 LLM 的记忆增强推荐系统的服务效率问题。
- 问题:用户画像以文本存储,每次排序调用都要拼接进 prompt 并在 prefill 阶段重算 KV;排序调用 prefill 长、解码短且反复触发,重复 prefill 成为服务瓶颈,前缀缓存因画像前文本不同而无法复用。
- 方法:将用户画像直接存为可复用的 KV 缓存而非文本;通过自蒸馏训练轻量 LoRA writer,让画像更新调用在解码画像文本的同时产出可复用 KV,LLM 可在新位置、新上下文后直接读取而无需重算;配套 KV 调度器在当前批次计算时预载下一批 KV,把传输隐藏在 GPU 计算之后。
- 结果:在 4 个 InstructRec 数据集、Llama-3.1-8B-Instruct 上提升吞吐且不损排序质量。
「Infra」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- Codeberg 整站失联,域名消失配置异常 — jedisct1 · 2026-11-18
- 除微软外超大规模厂商 FCF 全转负,AI 资本开支见顶信号 — marlene_zw · 2026-11-18
- Codeberg 域名离奇从注册商账户消失,网站陷入 clientHold 状态 — kingslyj · 2026-11-18
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍 — osanseviero · 2026-11-18