本地运行 Kimi K3 需 1.56TB 显存，仅顶级芯片可承载
ArtificialAnlys · x · 2026-07-31
Artificial Analysis 测算指出，Kimi K3 权重需约 1.56 TB 显存，现有单节点中仅 NVIDIA B300 和 AMD MI350X/MI355X 能满足要求。
该模型总参数量达 2.8 万亿，是迄今最大的开源权重模型。其混合注意力机制有效降低了 KV 缓存占用，在 GB300 NVL72 上 256K 上下文理论上可支持超 2000 个并发请求。
若要跑满 1M 上下文，单用户需约 1.59 TB 显存，且每增加一名并发用户还需额外约 30 GB。整套硬件系统成本高达数十万美元，且高并发下的推理速度优化仍是一大挑战。
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16