Grok 算账:跑 Kimi K3.1 Pro 需 18-32 张 H100,叫「本地」是误导
giffmana · x · 2026-10-24
开发者 Jason（giffmana）转发了 Grok 帮网友从第一性原理算清大模型「本地部署」成本的一段对话，并吐槽：请不要把万亿参数开源模型称为「local」——没有人家里放着几十张 H100。
图中 Grok 给出的算力账：
- Kimi K3.1 Pro（2.8T 总参数/104B 激活 MoE）即使量化也需约 1.4-1.8TB 显存，即约 18-32 张 H100
- 硬件成本 50 万-200 万美元以上，云租赁约 $50/小时起
- 该并发下约可服务 20-40 名交互用户（每人 15-30 tok/s）
- 能负担的企业仅限大型企业或 AI 专业公司，多数小公司全年 AI 预算不足 1 万美元
「Infra」频道最新
- GPU 过热降频:训练莫名变慢的元凶是热力学 — dejanseo · 2026-10-24
- 腾讯 Hy-Nomas 视频世界模型在 ComfyUI 原生跑通,仅需 12GB 显存 — LatentSpacer · 2026-10-24
- 8GB 显卡从零训一个月:mini-AGI 持续学习模型跑分超 GPT-2 — Another__one · 2026-10-24
- AI 创业公司 Flappy 登 CNBC:全栈协同优化可榨取更多芯片价值 — DavidCahn6 · 2026-10-24
- Fireworks 两周上线 7 个开源模型，主打专业化智能 — sophiamyang · 2026-10-24
- macOS 27 终端内置免费本地 LLM:fm 命令一行上手,完全离线免 API Key — dr_cintas · 2026-10-24