Kimi K3 加入 MoonEP 均衡与 ViT 流水线并行
nrehiew_ · x · 2026-07-29
这条线程继续拆 Kimi K3 的训练系统，重点放在 MoE 负载均衡和并行方案。
- MoonEP：作者说 K3 在 DeepEP 之上做了 MoonEP，为了实现“完美均衡”，还要离线准备冗余 experts。
- 性能/内存优化：实现里强调 zero-copy、降低 kernel launch 开销，同时用了自研 activation manager、memory-efficient MoE、attention residual kernels、ZeRO-2 和 Muon 的 P2P allgathers。
- 视觉编码器并行：对长媒体 token，vision encoder 用了类似 gather-KV 的 context parallel。
- 流水线图：配图里能看到 PP、EP、ZeRO-2 和 CP 的组合，作者也提到自己第一次在 pipeline diagram 里看到 ViT。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16