vLLM 宣布当天支持 Moonshot 2.8 万亿参数 Kimi K3
woosuk_k · x · 2026-07-28
vLLM 宣布会在 Moonshot AI 的 Kimi K3 权重公开的当天就支持部署，主打“模型一发布就能上 vLLM”。
帖子同时强调了围绕 K3 的工程优化，包括 prefix caching、DSpark training 和 kernel optimizations。K3 被描述为一个 2.8 万亿参数的 MoE 模型，支持 100 万 token 上下文，具备原生多模态理解能力，并通过 Kimi Delta Attention 让超长上下文推理更可负担。
所属事件:vLLM 为 2.8T 参数 Kimi K3 提供 Day-0 推理支持(10 条相关)→
「Infra」频道最新
- AI 先驯服量子计算机，再拿它做窄科学计算 — imjustnewatai · 2026-07-28
- Kimi K3 登陆日本，2.8 万亿参数开权重并给出低价推理 — DavidBennett__ · 2026-07-28
- 一条 Kimi-k3 段子把年费和自建成本拉到百万级 — HarveenChadha · 2026-07-28
- Qwen3.6-27B 量化版先测权重组再压缩 — enginetown · 2026-07-28
- 冻结 12B 通过验证记忆复用答案，零 token 运行 — Corbenci · 2026-07-28
- OpenAI 预计 7500 亿美元算力投入，Anthropic 租算力策略承压 — remybigot · 2026-07-28