Kimi K3 在新 MoE 设计中三倍参数、双倍激活专家
teortaxesTex · x · 2026-07-27
这张图给出了 Kimi K3 相比 K2 的一组关键架构变化：
- 层数从 61 增至 93
- 总参数从 1.04T 增至 2.78T
- 激活参数从 32.6B 增至 104.2B
- routed experts 从 384 增至 896，但每 token 激活专家数从 8 翻倍到 16
- 上下文长度从 128K 提升到 1M
- 还加入了 ViT 组件
帖文的核心判断是：K3 的 latent bottleneck 不是为了减少路由流量，而是把省下来的宽度重新用在更多激活专家上；因此它的每 token expert dispatch 量与 K2 基本保持不变。
「模型」频道最新
- Kimi K3 接入 SGLang，首日跑到 423 tok/s — ying11231 · 2026-07-28
- Ollama 上线 Kimi K3：支持 1M 上下文与原生视觉 — ollama · 2026-07-27
- Kimi K3 训练效率据称提升 2.5 倍 — zephyr_z9 · 2026-07-27
- NVIDIA 将 Cosmos3 Super 图生视频蒸馏到 4 步运行 — multimodalart · 2026-07-27
- Kimi K3 登陆 Modal，定制 DFlash 推测解码加速推理 — AAAzzam · 2026-07-27
- Kimi K3 在 vLLM 上线，2.8T 参数开源模型支持 1M 上下文 — ricklamers · 2026-07-27