vLLM 列出 Kimi K3 的解耦、KV offload 和 MoE 方案
vllm_project · x · 2026-07-27
- 这条主要在列 Kimi K3 在 vLLM 上可开启的服务能力。
- 包括 P/D disaggregation、按拓扑选择的 MoE backend（EP 用 megamoe、TP>1 用 trtllm）、KV offloading，以及 tool calling / reasoning / structured output。
- 配图补充了 vLLM Recipes 页面里的 moonshotai/Kimi-K3 部署信息：多节点 tensor parallel、硬件档位、以及面向低延迟的服务配置。
「Infra」频道最新
- Claude 对话被索引后，机密计算方案被再次推上台面 — bittingthembits · 2026-07-27
- Moonshot 开源 MoonEP，开闭源之争再被点燃 — KyeGomezB · 2026-07-27
- Kimi K3 的 2.5 倍 scaling-law 提升引发效率讨论 — andrew_n_carr · 2026-07-27
- Kimi K3 登陆 Nebius：100 万上下文、AA 57 分 — teortaxesTex · 2026-07-27
- AI agent 发现 Bun 的 `child_process.spawn` 兼容性旧 bug — steipete · 2026-07-27
- llama.cpp 在 PR 25994 中加入 Nanbeige4.2 支持 — pmttyji · 2026-07-27