Kimi K3 报告披露双缓存推理与快照式沙箱

nrehiew_ · x · 2026-07-29

这条线程在拆 Kimi K3 的推理与 sandbox 基础设施，重点是缓存与 checkpoint 的设计。

双缓存并行处理：K3 同时处理 KDA state 和 MLA KV cache，因为 KDA 的递归状态形状特殊，不能直接做块级哈希，只能给 MLA 和 KDA 分别设计不同粒度的哈希。
细粒度 prefix cache：配图展示了在一个 6144 token 的物理缓存块里，MLA 可以切出多个 512 token 哈希块，但 KDA checkpoint 只在少数边界持久化，因此缓存复用依赖更细的边界设计。
sandbox 基础设施：线程还提到他们发布了 sandbox infra，主打安全运行与 snapshot 的高效暂停/恢复。
另外，作者还提到外部 KV cache 可能 offload 到 CPU、训练状态 offload 到 NVMe，不过这些细节在原帖里也标注了不完全确定。

「Infra」频道最新