Kimi K3 推理架构与缓存挑战
青稞AI · wechat · 2026-07-19
这篇长文从推理和系统实现角度拆解了 Kimi K3 的部署挑战，重点讨论 KDA + AttnRes 的混合注意力、Prefix Cache、KV Cache 管理，以及在混合状态下的内存分配策略。
作者认为，K3 的架构虽然在计算上更适合线性注意力，但会给 vLLM / openinfer 这类推理栈带来新的工程问题：
- P/D 分离：线性注意力可显著降低 prefill 和 decode 之间传输的数据量，因此理论上能用更便宜、甚至异构的硬件做 prefill。
- Prefix Cache：作者把它类比成“快照策略”，讨论如何在有限空间里决定快照频率、如何索引线性注意力状态与普通 KV Cache，并指出共享前缀和 workload 会影响缓存命中率。
- 内存分配：由于线性状态和 KV Cache 的占用比例会动态变化，不能简单按固定比例切分；作者提到类似 JENGA 的思路，用更大的 page 粒度同时兼容两种状态，以减少碎片。
- Decode 效率：线性注意力降低了单请求 HBM 占用，可能显著抬高 batch size，但也会放大 all-to-all 通信和 group gemm 的压力。
文末还提到一个现实限制：作者自己的 openinfer 还没支持“混合注意力的 prefix cache”，所以目前只能继续做性能和调度层面的探索。
「Infra」频道最新
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27
- Anthropic S-1 关键数字:成立以来算力支出仅 193 亿美元,算力过度建设警报 — bookwormengr · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 电网排队成 AI 工厂瓶颈,Exowatt 与 Redwood 给出储能新解法 — ingliguori · 2026-10-27
- Wasmtime 曝两个 CVSS 9.9 沙箱逃逸漏洞，其中一个仅影响 ARM64 — basedjensen · 2026-10-27
- AI 数据中心时代用电论战：有人还在纠结灯泡省电与调整时区 — mgostIH · 2026-10-27