Kimi K3 加入 MoonEP 均衡与 ViT 流水线并行
nrehiew_ · x · 2026-07-29
这条线程继续拆 Kimi K3 的训练系统，重点放在 MoE 负载均衡和并行方案。
- MoonEP：作者说 K3 在 DeepEP 之上做了 MoonEP，为了实现“完美均衡”，还要离线准备冗余 experts。
- 性能/内存优化：实现里强调 zero-copy、降低 kernel launch 开销，同时用了自研 activation manager、memory-efficient MoE、attention residual kernels、ZeRO-2 和 Muon 的 P2P allgathers。
- 视觉编码器并行：对长媒体 token，vision encoder 用了类似 gather-KV 的 context parallel。
- 流水线图：配图里能看到 PP、EP、ZeRO-2 和 CP 的组合，作者也提到自己第一次在 pipeline diagram 里看到 ViT。
所属事件:Kimi K3 技术报告深度解读：架构与训练系统全面曝光(18 条相关)→
「Infra」频道最新
- NextEra 与 Brookfield 在肯塔基州规划超 1000 亿美元 AI 数据中心园区 — Polymarket · 2026-07-29
- 8 美元 ESP32-S3 跑起 2890 万参数离线模型 — nikola_mr64990 · 2026-07-29
- 高通宣布已完成对 Modular 的收购 — clattner_llvm · 2026-07-29
- AMD 2026 印度 AI 开发者日聚焦智能体、本地 AI 与视频生成 — PyTorch · 2026-07-29
- Meta 可能用首个 compute client 消息配合加码 CapEx — RihardJarc · 2026-07-29
- AI 数据中心不难建，难在供电可能要等 7 到 10 年 — 404 Media · 2026-07-29