Red Hat 开设推理性能直播课,vLLM 核心维护者拆解并行与 KV cache 策略
AccBalanced · x · 2026-11-18
Red Hat AI 宣布将于 11 月 18 日下午 2 点(ET)举办直播,主题为大规模 AI 推理性能。主讲人为 vLLM 核心维护者 Tyler Michael Smith 与 Yuchen Fama,内容涵盖并行策略、调度、KV cache 卸载、prefill/decode 分离等关键推理优化手段,以及各项手段分别在什么条件下才真正带来收益。
「Infra」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- Codeberg 整站失联,域名消失配置异常 — jedisct1 · 2026-11-18
- 除微软外超大规模厂商 FCF 全转负,AI 资本开支见顶信号 — marlene_zw · 2026-11-18
- Codeberg 域名离奇从注册商账户消失,网站陷入 clientHold 状态 — kingslyj · 2026-11-18
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍 — osanseviero · 2026-11-18