Kimi K3 架构解析：引入 SiTU-GLU 与全秩投影

近期关于 Kimi K3 技术报告的讨论集中在其架构改进上。一方面，K3 引入了新的门控形式 SiTU-GLU，通过结合 tanh 与 sigmoid 提供可控上界，以实现更稳定的近似 SwiGLU。另一方面，作者指出随着模型规模扩大，KDA 的输出 gate 从低秩改为了输入相关的全秩投影，因为原有的低秩设计未能有效解决 attention sink 问题。

2026-07-28 ~ 2026-07-28 · 3 条相关

• Kimi K3 报告提出 SiTU-GLU：可控上界的门控近似 SwiGLU — stochasticchasm · 2026-07-28
• Kimi K3 论文披露 SiTU-GLU 与 896 专家 MoE 设计 — KyeGomezB · 2026-07-28
• 作者称 KDA 低秩 gate 不能解决 attention sink — stochasticchasm · 2026-07-28