Kimi K3 报告提出 SiTU-GLU：可控上界的门控近似 SwiGLU
stochasticchasm · x · 2026-07-28
- 这张来自 Kimi K3 技术报告的图展示了新的门控形式 SiTU-GLU，作者把它概括为 tanh × sigmoid，目标是提供一种更稳定的、带上界的激活近似。
- 图中对比了 GLU、SwiGLU 和 SiTU-GLU 的门控分支与输出曲线。
- 核心结论是：SiTU-GLU 在原点附近与 SwiGLU 行为接近，但在大正输入时会逐步逼近上界 |f(x)| ≤ β1β2 = 100，而 SwiGLU 本身是无界的。
- 回复里还提到一个与 MoE 相关的工程观察：高稀疏度与 top-k 16 路由可能会显著增加 expert-parallel 通信，因为 token 更容易被分发到更多节点。
所属事件:Kimi K3 架构解析：引入 SiTU-GLU 与全秩投影(2 条相关)→
「模型」频道最新
- 微软发布 MAI-Cyber-1-Flash，接管 MDASH 90% 安全任务 — mustafasuleyman · 2026-07-28
- MAI-Cyber-1-Flash 目标覆盖 CyberGym 90% 修补任务 — mustafasuleyman · 2026-07-28
- Gemini 视频生成会乱加词，还会拦截部分无害提示 — Individual-Cookie615 · 2026-07-28
- Polymarket 估算下月内发布新 Claude Sonnet 概率为 42% — Polymarket · 2026-07-28
- Kimi K3 论文披露 SiTU-GLU 与 896 专家 MoE 设计 — KyeGomezB · 2026-07-28
- vLLM 携手 DigitalOcean 上线 Kimi K3 模型 — vllm_project · 2026-07-28