本地运行 Kimi K3 需 1.56TB 显存，仅顶级芯片可承载
ArtificialAnlys · x · 2026-07-31
Artificial Analysis 测算指出，Kimi K3 权重需约 1.56 TB 显存，现有单节点中仅 NVIDIA B300 和 AMD MI350X/MI355X 能满足要求。
该模型总参数量达 2.8 万亿，是迄今最大的开源权重模型。其混合注意力机制有效降低了 KV 缓存占用，在 GB300 NVL72 上 256K 上下文理论上可支持超 2000 个并发请求。
若要跑满 1M 上下文，单用户需约 1.59 TB 显存，且每增加一名并发用户还需额外约 30 GB。整套硬件系统成本高达数十万美元，且高并发下的推理速度优化仍是一大挑战。
「Infra」频道最新
- OpenAI 承诺的 Cerebras 750 TPS 推理月底将到期 — imjustnewatai · 2026-07-31
- 算力成本将飙升10倍，Lambda联创称AI将撑满数据中心 — TheZachMueller · 2026-07-31
- 亚马逊财报信号：数据中心与算力投资短期内不会放缓 — BenBajarin · 2026-07-31
- Etched总裁深度对谈：将Transformer烧进芯片，突破算力与功耗墙 — AI Engineer · 2026-07-31
- Vinci 推出 AI 物理模拟引擎：百亿级自由度硬件热变形预测 — AnneliesGamble · 2026-07-31
- 研究员指出全球内存产能严重不足，呼吁加大资本支出 — tszzl · 2026-07-31