Kimi K3 的 1.4TB 权重，只有 8 张 B300 真放得下
qubridInc · reddit · 2026-07-27
Moonshot 的 Kimi K3 权重今天下发，有团队已经先把显存账算起来了。
帖子里列出的关键信息包括：
- 总参数约 2.8T
- 896 个专家，每个 token 激活 16 个
- 100 万上下文，支持视觉
- 量化后权重下载量大约 1.4 TB
接着作者对三套 GPU 配置做了部署可行性分析：
- 8× A100 80GB：总共只有 640 GB，连权重都塞不下，更别说 KV cache；如果真跑，只能走 dequantization 或非常非目标的 INT4 kernel。
- 8× H200：约 1.13 TB，仍然不够单节点装下。
- 8× B300：约 2.3 TB，这是唯一能把整模型放进单节点、还能留出长上下文缓存的方案。
帖子还转述了模型卡的几个“坦诚弱点”：如果 agent harness 截断思考历史，效果会下降；在歧义场景里，它倾向于直接行动而不是追问；即便基准接近，聊天体验也仍被认为落后于 Fable 5 和 Sol。作者计划在三种 GPU 配置上给出吞吐、首 token 时延和每百万 token 成本的数据。
所属事件:Moonshot 发布 Kimi K3 开放权重引争议(155 条相关)→
「Infra」频道最新
- 曝 Anthropic 与 SpaceX 签算力大单:每月 31 亿美元,至 2029 年共 1205 亿 — ns123abc · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27