Kimi K3 常量状态设计让长上下文显存降约 73%
bookwormengr · x · 2026-07-29
这条帖在分析 Kimi K3 的“常量状态”设计，以及它对长上下文推理显存成本的影响。
- 配图给出的对比显示：在 128K tokens 下，All-MLA (93L) 需要 13.7 GB，而 Kimi K3 (24 MLA + KDA state) 只要 3.5 GB + 0.22 GB；到 1M tokens 时分别是 107 GB 对 29.0 GB + 0.22 GB。
- 帖子核心观点是：Kimi K3 通过 Kimi Delta Attention (KDA) / shared-key-value 这类设计，避免了 KV cache 随上下文长度线性膨胀，从而显著降低显存占用。
- 作者进一步把这件事上升到长期经济影响：如果长上下文推理所需的内存比预期少得多，那么围绕显存和内存芯片的价格上涨逻辑，可能需要重新评估。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「Infra」频道最新
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单台 DGX Spark 跑 Nemotron 3.5 Bolt,16 路并发推理演示 — NVIDIAAI · 2026-10-16