Kimi K3 推理成本之争：解码算力悬殊，贵 DeepSeek V4.1F 约 20 倍

围绕 Kimi K3 的推理成本与瓶颈，YouJiacheng 与 z4y5f3 在推上展开了一场技术算账之争。核心结论是：K3 解码阶段是 compute bound 而非 memory bound，且算力需求远超 K2/DeepSeek V4.1 Flash，服务成本估计贵约 20 倍。

已确认

YouJiacheng 计算：77k 上下文下 MLA 计算量约 386B，即使拉满 MFU，Kimi 的卡也不够用；他称「6 倍」只是第二个观点的下界估计。
解码算力对比：K3 每 token 约需 1 TFLOPs(FP8 等效)，K2 V4.1F 仅需约 50 GFLOPs；两者都可以在 compute-bound 状态下部署服务。
YouJiacheng 给出 KV cache 具体数字：K3 每 token 14400 字节(24 个 MLA 层)，V4.1F 为 890 字节。
他还指出 96 头 MLA 计算强度达 363 FLOPs/Byte，core attention 是否 compute bound 与 batch size 无关，FP8 KV 的意义在于避免大 batch 下的瓶颈。
z4y5f3 修正了自己的估算：此前用了 HF 默认精度(MLA 用 BF16、KDA 用 FP32)，把 KV cache 占用倍数算成 40 倍；修正后结论仍为 K3 比 V4.1F 贵约 20 倍，且他补充 FP8 同时跑得更快，不改变整体结论。

最初「20-50 倍」成本差距的上界来自 z4y5f3 的性能建模，其 KV cache 部分已被本人修正，最终落点约为 20 倍，但双方对部分前提的分歧仍在讨论中。

这场争论把「K3 是否值得部署」从传闻式的 KV cache 对比，细化到了具体 FLOPs、字节数与精度假设层面，展示了精度配置(MLA/KDA 的默认精度)会显著改变成本模型结论。

2026-10-26 ~ 2026-10-26 · 6 条相关