Kimi K3 在 H200 上的吞吐优化实践：TP+EP 超越 DP+EP
vwxyzjn · x · 2026-08-01
LMSYS 团队分享了在 H200 集群上针对 Kimi K3 模型进行吞吐导向工作负载调优的工程经验：
- TP+EP 优于 DP+EP：由于 K3 仅约 1/4 的层使用门控 MLA，DP attention 在避免 KV-cache 重复方面的收益较小，且会增加延迟。这不同于他们在 K2.6 和 GLM 设置中偏好 DP+EP 的经验。
- FP8 KV cache 表现良好：实测在评估中没有任何质量或吞吐量的回退，同时有效将 KV-cache 容量翻倍。
- TP32+EP32 配置：提供了显著的性能提升（细节见原帖）。
所属事件:千卡实测Kimi K3：H200集群吞吐优化实践(3 条相关)→
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16