Kimi K3 论文披露 SiTU-GLU 与 896 专家 MoE 设计
KyeGomezB · x · 2026-07-28
这段 Kimi K3 论文截图主要在讲它的 MoE 训练/架构改造，目标是让超大规模稀疏路由更稳定：
- 用 SiTU-GLU 替换常见的 SwiGLU 风格门控，缓解大模型里激活值爆炸的问题。
- 在大约 1000 个专家 的路由场景中，不再只靠 auxiliary loss，而是用 quantile balancing：通过分块直方图统计专家概率，再用偏置重分配，让负载分布更稳定、更“完美”地均衡。
- 在 LatentMoE 变体里，把 RMSNorm 从 pre-norm 位置挪到专家聚合之后。
截图还提到，这些改动是为了支撑 896 个 routed experts、每个 token 只激活 16 个专家 的极端稀疏配置。
所属事件:Kimi K3 架构解析：引入 SiTU-GLU 与全秩投影(3 条相关)→
「模型」频道最新
- Kimi K3 用分位数路由平衡 MoE 专家负载 — stochasticchasm · 2026-07-28
- Kimi K3 报告加入 NoPE、全秩门控与 FP32 训练 — suchenzang · 2026-07-28
- Kimi K3 已可在 Fireworks 上推理与训练 — omarsar0 · 2026-07-28
- Gemini 视频生成会乱加词，还会拦截部分无害提示 — Individual-Cookie615 · 2026-07-28
- Polymarket 估算下月内发布新 Claude Sonnet 概率为 42% — Polymarket · 2026-07-28
- vLLM 携手 DigitalOcean 上线 Kimi K3 模型 — vllm_project · 2026-07-28