Kimi K3 活跃参数量估算讨论
teortaxesTex · x · 2026-07-17
这条是在追问一个模型的**活跃参数量**会怎么变化，并引用了另一条背后的粗略估算： - 参考估算认为该模型可能有 **约 55–70B active** 的规模。 - 估算逻辑是基于“61 层、约 2K expert hidden dim、2.8T 参数 / 896 experts”的 back-of-envelope 推导。 - 计算结果大致是：每个 expert 每层约 **5000 万参数**，如果每 token 激活 16 个 experts，加上注意力、共享层和 embedding，整体活跃计算量大约在 **60B** 左右。 - 原帖本身是在问：这个数字后续会如何变化，以及大概会落在 **15–20GB** 还是别的范围。