vLLM解析Kimi K3：2.8T参数的缓存才是真正挑战

针对月之暗面的 Kimi K3 模型，vLLM 团队指出，拥有 2.8T 参数并非部署中最困难的环节，真正的挑战在于如何高效缓存这些参数。据悉，K3 的许多层采用了固定大小的 KDA state，而非传统持续增长的 KV 缓存机制，这一设计细节成为解决庞大参数缓存问题的关键所在。

2026-07-27 ~ 2026-07-27 · 2 条相关

• vLLM：K3 的 2.8T 参数不难，难的是缓存 — vllm_project · 2026-07-27
• Kimi K3 用固定 KDA 状态替代增长式 KV 缓存 — vllm_project · 2026-07-27