Kimi K3 在新 MoE 设计中三倍参数、双倍激活专家
teortaxesTex · x · 2026-07-27
这张图给出了 Kimi K3 相比 K2 的一组关键架构变化：
- 层数从 61 增至 93
- 总参数从 1.04T 增至 2.78T
- 激活参数从 32.6B 增至 104.2B
- routed experts 从 384 增至 896，但每 token 激活专家数从 8 翻倍到 16
- 上下文长度从 128K 提升到 1M
- 还加入了 ViT 组件
帖文的核心判断是：K3 的 latent bottleneck 不是为了减少路由流量，而是把省下来的宽度重新用在更多激活专家上；因此它的每 token expert dispatch 量与 K2 基本保持不变。
所属事件:Moonshot 发布 Kimi K3 开放权重引争议(155 条相关)→
「模型」频道最新
- 决策模型 Jev 接入 OM1,在 NVIDIA Isaac Sim 中驱动 Go2 机器人导航 — paigeinsf · 2026-09-23
- 网友辩称随机采样是智能必需：确定性模型或无法「思考」 — burny_tech · 2026-09-23
- 网友预测 2026 秋：Opus 5.5、GPT-6、Qwen4 同期登场 — IanAndrewsDC · 2026-09-23
- Cline 宣称 MiMo-v2.6-Pro 登顶开源权重模型榜 — burny_tech · 2026-09-23
- Anthropic 自嘲式官宣:Opus 5.5 远胜 Opus 5,网友戏称该向旧模型道歉 — repligate · 2026-09-23
- Opus 5.5 创作实测：「建议你把想要的都画出来」 — repligate · 2026-09-23