llm-d 边缘推理实践:prefill 与 decode 分离部署的真实案例

HowDevelop · x · 2026-11-16

作者在 LearnKube Day 的闪电演讲中讲解了 llm-d 边缘 AI 推理:prefill 是一次大型并行计算、吃算力,decode 是逐 token 循环、受内存带宽限制且用户能感知延迟——因此应把 prefill 和 decode 拆到不同 pod 并独立扩缩,避免长 prompt 的 prefill 拖慢共享实例上的 decode。

演讲还给出 NeuReality 的实际部署案例:在 Kubernetes 上用 vLLM 服务 Meta Llama 3.1 70B,采用 prefill-decode 分离模式(8 个 prefill 实例 + 1 个 decode 实例跑在独立服务器节点),硬件用 Qualcomm Cloud AI 100 Ultra 卡作为 worker 节点,由 Qualcomm 的 Kubernetes device plugin 管理。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →