vLLM 首发 Kimi K3.1 Pro 支持日:KDA 稀疏注意力与 FP8/NVFP4 缓存
vLLM Blog · rss · 2026-11-04
vLLM 宣布对 Kimi K3.1 Pro 提供 Day-0 支持,针对该模型做了多项推理优化:在 KDA 混合架构上实现稀疏注意力;KV cache 采用 FP8 或 NVFP4 latent 加 MXFP4 索引键的打包方案;引入 token 分片 prefill、decode 上下文并行以及融合的低延迟 decode。这意味着新模型发布当天即可在 vLLM 上高效部署。
「Infra」频道最新
- Corebrum OS 新增内置 VNC,可在 Mac 远程查看 NVIDIA Thor 机器人 — chrismatthieu · 2026-11-05
- Modal 联手 SGLang 实现 Kimi K3.1 Pro 首日在线服务 — ying11231 · 2026-11-05
- 探访马来西亚：被低估的全球算力硬件供应链重镇 — davidyin44 · 2026-11-05
- 阿里 Qwen 团队发 SpecOPD：分支并行在线蒸馏加速投机解码 — Qwen · 2026-11-05
- Revolut 自托管 GLM 替代 Claude,编码推理成本降约 90% — sebkrier · 2026-11-05
- 半导体设备订单排到2029年，AI芯片争夺战把交货周期拉长至两年 — Gregory_C_Allen · 2026-11-05