Kimi K3 技术报告披露训练与系统细节

围绕月之暗面 Kimi K3 的多条帖子，作者们集中拆解了其技术报告，信息覆盖训练流程、MoE 架构、KDA 推理与并行、多模态视觉塔以及内部评测。按这些帖子转述，K3 不只给出了编码、Agent、对话和 WebDev 方向的内测表，还公开了 FlashKDA、MoonEP、双缓存推理、快照式沙箱等系统层设计。对行业的看点在于，这是一份把模型效果、训练方法和底层工程一起摊开的技术披露。

已确认

• 多条帖子称，K3 的训练流程为 SFT→RL→MOPD；其中 SFT 使用 QAT，权重为 MXFP4、激活为 MXFP8。
• 架构层面，帖子转述 K3 采用了 LatentMoE、用于专家负载均衡的“分位数均衡”、按每 12 层分组的块注意力残差，以及 NoPE 机制。
• 系统实现上，帖子称 K3 使用 FlashKDA 让 KDA 支持 chunkwise parallel；为控制数值稳定性，还会进一步切成 16 个 token 的 tile。推理侧同时处理 KDA state 与 MLA KV cache，并配有快照式沙箱。
• 多模态方面，帖子称其视觉塔 MoonViT-V2 并非先用 SigLIP 一类模型初始化，而是与语言模型一起从头训练，训练目标仍是 next-token prediction。
• 评测与案例方面，分享材料提到的内部表格覆盖 coding、agent、dialogue 与 WebDev；案例研究则包括 GPU kernel 优化、编译器和芯片原型。@nrehiew 还转述称，较早期的 K3 checkpoint 在开发后期已能承担团队大部分 kernel 优化工作。

尚未确认

• @nrehiew 根据 FLOPs 曲线推测，K3 的 RL 计算量在专家之间可能并不均匀，且大量算力也许花在 MOPD 上；这是其个人分析，不是帖子里能直接坐实的官方结论。
• @nrehiew 还根据流水线图判断 K3 使用标准 1F1B 而非 Dual Pipe，且 EP all-to-all 做了常规重叠处理；这同样属于读图解读。

为什么重要

• 这些帖子之所以引发关注，不只是因为 K3 被拿来与多款闭源、开源模型同台比较，更因为其技术披露覆盖了从量化训练、MoE 均衡到推理缓存和多模态联合训练的完整链路。
• @nrehiew 与另一位开发者都把这份报告评价为少见地“把细节讲清楚”的材料。对关注超大规模 MoE、原生多模态和高效推理基础设施的读者来说，这批信息的参考价值高于单纯跑分。

2026-07-28 ~ 2026-07-29 · 19 条相关

• Kimi K3 案例研究展示内核优化、编译器和芯片原型 — teortaxesTex · 2026-07-28
• Kimi K3底层优化：KDA数值稳定性与分块并行计算改进 — nrehiew_ · 2026-07-29
• Kimi K3架构解析：引入块注意力残差与NoPE机制 — nrehiew_ · 2026-07-29
• Kimi K3架构解析：采用分位数均衡与LatentMoE突破3T规模瓶颈 — nrehiew_ · 2026-07-29
• Kimi K3 从头训练 MoonViT-V2 来稳定多模态训练 — nrehiew_ · 2026-07-29
• Kimi K3 视觉编码器从头训练，称视觉评测更强 — nrehiew_ · 2026-07-29
• Kimi K3 称借 KDA 节省实现 2.5 倍 scaling 提升 — nrehiew_ · 2026-07-29
• Kimi K3 用网页搜索知识图谱合成 RL 任务 — nrehiew_ · 2026-07-29
• Kimi K3 用 QAT、RL 和 MOPD 训练多专家模型 — nrehiew_ · 2026-07-29
• Kimi K3 底层设施：FlashKDA 与分块并行计算优化 — nrehiew_ · 2026-07-29
• Kimi K3 并行策略：首次将 ViT 纳入流水线图 — nrehiew_ · 2026-07-29
• Kimi K3 加入 MoonEP 均衡与 ViT 流水线并行 — nrehiew_ · 2026-07-29
• Kimi K3 用 FlashKDA 让 chunk 并行可行 — nrehiew_ · 2026-07-29
• Kimi K3 报告披露双缓存推理与快照式沙箱 — nrehiew_ · 2026-07-29
• Kimi K3 报告补充内测表，覆盖编码与 WebDev 评测 — nrehiew_ · 2026-07-29
• Kimi K3 进入 kernel 优化实战，并在内测中领先多款模型 — nrehiew_ · 2026-07-29
• 开发者点评 Kimi K3：技术报告扎实，已能胜任内核优化 — nrehiew_ · 2026-07-29

另有 2 条近重复转述:nrehiew_ · nrehiew_