Kimi K3 被称接近 3 万亿参数，推理要一整柜 64 卡
teortaxesTex · x · 2026-07-21
这条引用帖在聊 Kimi K3 的规模和部署代价：它太大了，几乎需要一整机架的高端芯片才能跑。
原帖与配图里给出的关键信息
- K3 被描述为接近 3 万亿参数；
- 发帖人补充说，实际部署大概需要 一整柜机架，更像是 64 张 GPU 的量级，而不一定非要 72 张；
- 配图中的技术说明写到，Kimi K3 采用 Kimi Delta Attention（KDA） 和 Attention Residuals（AttnRes）；
- 还使用 Stable LatentMoE，只激活 896 个专家中的 16 个；
- 从 SFT 阶段开始使用 quantization-aware training，权重是 MXFP4，激活是 MXFP8；
- 为了推理效率，官方建议把 Kimi K3 部署在 64 个或更多加速器 的 supernode 配置上；
- 同时还提到会提供对应的 vLLM 实现，并借助 KDA + prefill cache 在规模和长上下文下维持有竞争力的 token 成本。
整体看，这是一条把模型架构信息和基础设施部署要求绑在一起的帖子。
所属事件:Moonshot 发布 2.8T 开源模型 Kimi K3(14 条相关)→
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27