llm-d 边缘推理实践:prefill 与 decode 分离部署的真实案例
HowDevelop · x · 2026-11-16
作者在 LearnKube Day 的闪电演讲中讲解了 llm-d 边缘 AI 推理:prefill 是一次大型并行计算、吃算力,decode 是逐 token 循环、受内存带宽限制且用户能感知延迟——因此应把 prefill 和 decode 拆到不同 pod 并独立扩缩,避免长 prompt 的 prefill 拖慢共享实例上的 decode。
演讲还给出 NeuReality 的实际部署案例:在 Kubernetes 上用 vLLM 服务 Meta Llama 3.1 70B,采用 prefill-decode 分离模式(8 个 prefill 实例 + 1 个 decode 实例跑在独立服务器节点),硬件用 Qualcomm Cloud AI 100 Ultra 卡作为 worker 节点,由 Qualcomm 的 Kubernetes device plugin 管理。
「Infra」频道最新
- M5 Ultra 512GB 本地跑 DeepSeek Flash:128K上下文生成54 t/s — vhthc · 2026-11-17
- Peter Diamandis:先建成吉瓦级算力的国家将制定智能定价 — PeterDiamandis · 2026-11-17
- Gemini Managed Agents 支持自托管:模型在谷歌跑,工具在你机器上执行 — _philschmid · 2026-11-17
- RWKV-8 RPU 预览:实时推理达每秒 12500+ tokens — kastnerkyle · 2026-11-17
- AI 预算悖论:日常任务用最贵模型,真正的重写却被月度额度卡死 — ruslansv · 2026-11-16
- KubeCon 演讲实录:用 OpenTelemetry+Argo Rollouts 打造能自愈部署的 AI SRE — HowDevelop · 2026-11-16