Kimi K3 技术细节曝光：3T 参数 MoE 架构，未披露训练算力

stochasticchasm · x · 2026-07-28

有开发者对月之暗面最新开源的 Kimi K3 模型架构进行了分析。该模型总参数量达到 3T，采用了比前代更稀疏的 MoE 架构（16/896），而 K2 的配置为 8/384。

作者认为目前的稀疏度表现已经相当不错，但理论上还有进一步优化的空间，并推测制约更稀疏架构的瓶颈可能在于 VRAM。此外，作者特别指出，Kimi K3 以及 Moonvit 2 的技术报告中均未披露训练所用的 token 数量和算力规模，这一信息隐藏策略引起了社区的注意。