Kimi K3 用 Stable LatentMoE 稳住 896 专家 MoE
suchenzang · x · 2026-07-28
Kimi K3 的 Stable LatentMoE 主要是在解决大规模 MoE 的两个问题：内部激活爆炸和路由负载不稳定。
核心改动
- 在 up-projection 前加入 RMSNorm。
- 用 SiTU-GLU 替代常规 gate，限制激活值发散。
- 用 Quantile Balancing（QB） 做路由负载均衡。
这条图里最关键的信息
图中说明，Kimi K3 把通道混合扩展到 896 个 routed experts，每个 token 激活 16 个 experts。论文认为这种极端稀疏会让传统 MoE 更容易数值不稳定，因此需要这套组合来同时稳住 routed branch 和专家分配。
所属事件:Kimi K3 技术报告解析：三轴架构与混合注意力(35 条相关)→
「模型」频道最新
- Kimi K3 登上 OpenRouter，第三方供应商开始抢接入 — scaling01 · 2026-07-28
- Kimi K3 登陆 Applied Compute，支持训练与推理 — rhythmrg · 2026-07-28
- 转发文章称 Anthropic Opus 5 实测退化明显 — rickasaurus · 2026-07-28
- Polymarket 给予 Moonshot 9 月前再发 Kimi K 概率 76% — Polymarket · 2026-07-28
- Boris Cherny 说 Claude Code 删掉了 80% 系统提示词 — Y Combinator · 2026-07-28
- The Verge 认为 Kimi K3 可能冲击美国闭源模型 — The Verge AI · 2026-07-28