华为不用定制内核,vLLM 上波束搜索延迟最高降 25 倍

_reachsumit · x · 2026-11-20

arXiv 论文(华为团队)指出,生成式推荐(GR)推理与常规 LLM serving 差异很大:输入序列长、beam 宽、输出 token 少且固定。vLLM 把各 beam 当作独立批量序列处理,造成对共享前缀的冗余 KV cache 访问;每个 beam search 步骤又是一次独立的引擎调用,带来 host 侧开销与 PagedAttention 的运行时块管理成本。

优化手段(全程未写定制内核):

结果:在昇腾(Ascend)NPU 上端到端延迟较 vLLM 最高降低 25 倍,生成延迟与使用定制内核的 SOTA 方案相当。结论:应先整体优化生成流水线,再考虑定制内核。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →