Kimi K3 报告披露双缓存推理与快照式沙箱
nrehiew_ · x · 2026-07-29
这条线程在拆 Kimi K3 的推理与 sandbox 基础设施，重点是缓存与 checkpoint 的设计。
- 双缓存并行处理：K3 同时处理 KDA state 和 MLA KV cache，因为 KDA 的递归状态形状特殊，不能直接做块级哈希，只能给 MLA 和 KDA 分别设计不同粒度的哈希。
- 细粒度 prefix cache：配图展示了在一个 6144 token 的物理缓存块里，MLA 可以切出多个 512 token 哈希块，但 KDA checkpoint 只在少数边界持久化，因此缓存复用依赖更细的边界设计。
- sandbox 基础设施：线程还提到他们发布了 sandbox infra，主打安全运行与 snapshot 的高效暂停/恢复。
- 另外，作者还提到外部 KV cache 可能 offload 到 CPU、训练状态 offload 到 NVMe，不过这些细节在原帖里也标注了不完全确定。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「Infra」频道最新
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单台 DGX Spark 跑 Nemotron 3.5 Bolt,16 路并发推理演示 — NVIDIAAI · 2026-10-16
- 浮点数为何存不下 0.2：IEEE 754 从二进制到舍入的原理拆解 — Franc0Fernand0 · 2026-10-16
- Sabaki：毫秒级 CPU 路由器，用准确率换 1000 倍延迟优势 — Fox3000foxy · 2026-10-16
- BitRun 在纯 CPU 跑 1-bit LLM：8B 模型 2GB 内存、21 t/s — The_VibePreneur · 2026-10-16
- MiniCPM-V 4.7 上了手机:35B MoE 在 iPhone 上 3GB 内存跑出 13+ tokens/s — heyshrutimishra · 2026-10-16