Red Hat 开设推理性能直播课,vLLM 核心维护者拆解并行与 KV cache 策略

AccBalanced · x · 2026-11-18

Red Hat AI 宣布将于 11 月 18 日下午 2 点(ET)举办直播,主题为大规模 AI 推理性能。主讲人为 vLLM 核心维护者 Tyler Michael Smith 与 Yuchen Fama,内容涵盖并行策略、调度、KV cache 卸载、prefill/decode 分离等关键推理优化手段,以及各项手段分别在什么条件下才真正带来收益。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →