千卡实测：H200 集群吞吐优化 Kimi K3 的工程经验
hsu_byron · x · 2026-08-01
作者分享了在 H200 集群上针对 Kimi K3 模型进行高吞吐推理调优的实战经验。主要发现包括：
- TP+EP 优于 DP+EP：由于 K3 仅约 1/4 的层使用门控 MLA，DP attention 规避 KV-cache 重复的收益受限，且会增加延迟。
- FP8 KV cache 表现良好：实测未发现质量或吞吐下降，有效使缓存容量翻倍。
- 扩大并行度提升显著：TP32+EP32 配置相比 TP16+EP16，单副本 KV-cache 容量从约 80 万激增至约 400 万 tokens。
- 低命中率场景建议关闭 radix cache：Prefix caching 需占用更多 Mamba-state slots，关掉可节省内存。
- 高并发下非投机解码胜出：并发超 64 时，投机解码的验证开销超过了其带来的收益。
该配置已在约 1000 张芯片上满载稳定运行数日。作者也指出目前仍存在对称内存导致的不稳定等待解决问题。
所属事件:千卡实测Kimi K3：H200集群吞吐优化实践(3 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16