Kimi K3 推理需 1.4TB 显存，远超 96GB RTX PRO 6000
HanchungLee · x · 2026-07-28
这条帖子在讨论 Kimi K3 的部署门槛：按作者估算，K3 有 2.8T 参数，在 MXFP4 推理下大约需要 1.4TB 显存，而 RTX PRO 6000 只有 96GB GDDR。
作者据此认为，要在单卡上跑到接近同等能力，模型规模得压缩约 93%；虽然可以像 R1 → Qwen32B 那样继续蒸馏，但知识损失大概率会让能力表现变得“参差不齐”。被引用的原预测则是：18 个月内，单张 RTX PRO 6000 上会跑出 K3 级别智能。
所属事件:Moonshot Kimi K3 本地部署门槛极高(2 条相关)→
「Infra」频道最新
- Inference.net 推出流量镜像评测流程，先试 Kimi K3 再切换 — MatthewBerman · 2026-07-28
- AI 先驯服量子计算机，再拿它做窄科学计算 — imjustnewatai · 2026-07-28
- Kimi K3 登陆日本，2.8 万亿参数开权重并给出低价推理 — DavidBennett__ · 2026-07-28
- 一条 Kimi-k3 段子把年费和自建成本拉到百万级 — HarveenChadha · 2026-07-28
- Qwen3.6-27B 量化版先测权重组再压缩 — enginetown · 2026-07-28
- 冻结 12B 通过验证记忆复用答案，零 token 运行 — Corbenci · 2026-07-28