华为不用定制内核,vLLM 上波束搜索延迟最高降 25 倍
_reachsumit · x · 2026-11-20
arXiv 论文(华为团队)指出,生成式推荐(GR)推理与常规 LLM serving 差异很大:输入序列长、beam 宽、输出 token 少且固定。vLLM 把各 beam 当作独立批量序列处理,造成对共享前缀的冗余 KV cache 访问;每个 beam search 步骤又是一次独立的引擎调用,带来 host 侧开销与 PagedAttention 的运行时块管理成本。
优化手段(全程未写定制内核):
- 用 Tree Attention 沿序列维拼接 beam,消除冗余 KV 访问;
- 预生成部分注意力掩码、静态 KV cache 分配、循环展开的生成调度、TorchAir 图编译、自动算子融合、词表约束解码。
结果:在昇腾(Ascend)NPU 上端到端延迟较 vLLM 最高降低 25 倍,生成延迟与使用定制内核的 SOTA 方案相当。结论:应先整体优化生成流水线,再考虑定制内核。
「Infra」频道最新
- Anthropic 三天在 AMD MI355X 上跑通 Claude prefill,CUDA 优势受质疑 — AccBalanced · 2026-11-20
- 客户月省 90%:GitHub Actions 上 20 分钟任务在 Celesto 只跑 7 分钟 — aniketmaurya · 2026-11-20
- Anthropic 估值 2 万亿美元遭质疑:前 9 个月净亏损 1040 亿 — deliprao · 2026-11-20
- 一个 prompt 的物理之旅:新视频拆解 AI 基础设施经济学 — soumitrashukla9 · 2026-11-20
- Vercel 上线 sudo 模式 2FA 自动升级 DBSC,会话防盗更彻底 — cramforce · 2026-11-20
- Inference.net 自曝大量 B200/B300 空闲算力,打折短期出租 — MatthewBerman · 2026-11-20