Kimi K3 的 1.4TB 权重，只有 8 张 B300 真放得下
qubridInc · reddit · 2026-07-27
Moonshot 的 Kimi K3 权重今天下发，有团队已经先把显存账算起来了。
帖子里列出的关键信息包括：
- 总参数约 2.8T
- 896 个专家，每个 token 激活 16 个
- 100 万上下文，支持视觉
- 量化后权重下载量大约 1.4 TB
接着作者对三套 GPU 配置做了部署可行性分析：
- 8× A100 80GB：总共只有 640 GB，连权重都塞不下，更别说 KV cache；如果真跑，只能走 dequantization 或非常非目标的 INT4 kernel。
- 8× H200：约 1.13 TB，仍然不够单节点装下。
- 8× B300：约 2.3 TB，这是唯一能把整模型放进单节点、还能留出长上下文缓存的方案。
帖子还转述了模型卡的几个“坦诚弱点”：如果 agent harness 截断思考历史，效果会下降；在歧义场景里，它倾向于直接行动而不是追问；即便基准接近，聊天体验也仍被认为落后于 Fable 5 和 Sol。作者计划在三种 GPU 配置上给出吞吐、首 token 时延和每百万 token 成本的数据。
所属事件:Kimi K3 部署显存估算：B200 需双节点 B300 单节点即可(2 条相关)→
「Infra」频道最新
- Bittensor 子网扩容被视为企业 AI 基建新路径 — markjeffrey · 2026-07-28
- Project Orion 在三大洲异构算力上直播训练 16B 模型 — markjeffrey · 2026-07-28
- Modular 推理手册拆解 LLM 成本瓶颈与部署优化 — udmrzn · 2026-07-28
- Kimi K3 通过 Merge Gateway 接入美国推理与 ZDR 通道 — shensi · 2026-07-28
- 算力才是前沿 AI 真正难复制的护城河 — GavinSBaker · 2026-07-28
- 租 GPU 加开源模型，让 AI 月账单从 120 万降到 10 万 — kimmonismus · 2026-07-28