vLLM 第一时间支持 Kimi K3,全面适配英伟达多代算力架构
vllm_project · x · 2026-07-30
vLLM 项目宣布已为 Kimi K3 模型提供一流的支持,并在英伟达硬件上实现了高效运行。
该方案支持 Grace Blackwell、Blackwell、Hopper 和 NVL72 等多代系统,并集成了 Dynamo 以保障此类大模型在生产环境中的速度与效率。该支持在模型权重公开的第一时间(Day 0)即已上线。
所属事件:vLLM 与 AMD 实现 Kimi K3 首日推理支持(7 条相关)→
「Infra」频道最新
- 微软云业务年化收入破千亿美元,Azure撑起整体营收 — tomwarren · 2026-07-30
- 向量数据库 turbopuffer 支持 late interaction 模型 — lateinteraction · 2026-07-30
- 高通Q3营收超预期但下季EPS指引疲软,手机业务承压 — firstadopter · 2026-07-30
- Sam Altman 表态:理解民众不愿社区建 AI 数据中心的担忧 — businessinsider · 2026-07-30
- 扎克伯格:外部算力报价远高于我们的采购价 — firstadopter · 2026-07-30
- 4090加3060双卡推理会降速吗?社区经验分享 — cosmoschtroumpf · 2026-07-30