千卡实测Kimi K3：H200集群吞吐优化实践

LMSYS 等开发团队分享了在千卡 H200 集群上针对 Kimi K3 模型进行高吞吐推理调优的实战经验。测试发现，由于 K3 模型仅有约四分之一的参数被激活，采用 TP+EP（张量并行+专家并行）的架构表现显著优于 DP+EP。此外，开发者还分享了结合 FP8 KVCache 等技术的调优策略，以进一步提升模型在吞吐导向工作负载下的整体性能。

2026-08-01 ~ 2026-08-01 · 3 条相关

• 千卡实测：H200 集群吞吐优化 Kimi K3 的工程经验 — hsu_byron · 2026-08-01
• H200实战：Kimi K3吞吐量优化与FP8 KVCache调优 — hyhieu226 · 2026-08-01
• Kimi K3 在 H200 上的吞吐优化实践：TP+EP 超越 DP+EP — vwxyzjn · 2026-08-01