vLLM Office Hours 已办 59 期:76 位嘉宾 24 家机构参与的双周直播

vllm_project · x · 2026-11-07

vLLM 官方回顾了其与 Red Hat 合作的双周直播 Office Hours:截至目前已办 59 期,累计 76 位嘉宾、24 个组织参与,录像总时长约 56 小时,全部存档在 YouTube。

每期约一小时,分三段:

最近一期(#58)介绍 llm-d 语义分类器 llm-d-sc:在 KV-cache 路由选 pod 之前先选模型层级,包含与 vLLM Semantic Router 的对比及 NASA 域路由概念验证。历史主题覆盖量化(11 期)、分布式推理(10 期)、架构、路由、投机解码等。活动对所有人开放,可订阅日历。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →