Kimi K3 推理架构与缓存挑战
青稞AI · wechat · 2026-07-19
这篇长文从推理和系统实现角度拆解了 Kimi K3 的部署挑战，重点讨论 KDA + AttnRes 的混合注意力、Prefix Cache、KV Cache 管理，以及在混合状态下的内存分配策略。
作者认为，K3 的架构虽然在计算上更适合线性注意力，但会给 vLLM / openinfer 这类推理栈带来新的工程问题：
- P/D 分离：线性注意力可显著降低 prefill 和 decode 之间传输的数据量，因此理论上能用更便宜、甚至异构的硬件做 prefill。
- Prefix Cache：作者把它类比成“快照策略”，讨论如何在有限空间里决定快照频率、如何索引线性注意力状态与普通 KV Cache，并指出共享前缀和 workload 会影响缓存命中率。
- 内存分配：由于线性状态和 KV Cache 的占用比例会动态变化，不能简单按固定比例切分；作者提到类似 JENGA 的思路，用更大的 page 粒度同时兼容两种状态，以减少碎片。
- Decode 效率：线性注意力降低了单请求 HBM 占用，可能显著抬高 batch size，但也会放大 all-to-all 通信和 group gemm 的压力。
文末还提到一个现实限制：作者自己的 openinfer 还没支持“混合注意力的 prefix cache”，所以目前只能继续做性能和调度层面的探索。
「Infra」频道最新
- AI 工程师必懂的 12 种 KV Cache 压缩技术一文讲透 — blaizedsouza · 2026-09-11
- 影子算力市场走向台前,Meta 对外出售过剩 GPU 算力成标志性信号 — DavidLinthicum · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11