Kimi K3 架构细节:3T参数与极稀疏MoE配置

开发者深入分析了 Kimi K3 的底层架构细节。该模型总参数量达到 3T,采用了比前代 K2 更为稀疏的 MoE 配置(16/896)。这种极稀疏架构可能面临 VRAM 瓶颈挑战。此外,该模型在训练中坚持使用同地协作的强化学习系统,但官方暂未披露具体的训练算力消耗。

2026-07-28 ~ 2026-07-28 · 2 条相关

事件全程(共 20 集)→