Kimi K3 推理算账：77k 上下文 MLA 计算量约 386B，卡不够用
YouJiacheng · x · 2026-10-26
YouJiacheng 与网友就 Kimi K3 的推理瓶颈展开技术争论，核心观点：这不是 memory bound，且即使拉满 MFU，Kimi 的卡也不够用，"6 倍"只是第二个观点的下界估计。
- 计算得出 77k context 下 K3 的 MLA 需消耗相当于 77k×24×96×(512+576)×2 ≈ 386B 激活参数的计算量，末尾 ×2 是因为 MoE 用 MXFP8 算力而 MLA 用 BF16。
- MoE 和各 Linear Projection 才是 compute bound（core attn 是否 compute bound 与 batch size 无关）；FP8 KV 的意义是让大 batch size 不 OOM。
- FP8 KV 会 dequant 到 BF16 计算（见 FlashMLA），96 头 MLA 计算强度高达 2×96×(512+576)/576 ≈ 363 FLOPs/Byte，没有 SpecDec 都已是 compute bound。
所属事件:Kimi K3 推理成本之争：解码算力悬殊，贵 DeepSeek V4.1F 约 20 倍(6 条相关)→
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27