开源模型本地部署算账：Kimi K3.1 权重 594GB，四台 Mac Studio 仅 15 tok/s
ravikantagrawal · x · 2026-11-10
作者近几个月对每个新开源权重模型（Kimi K3.1、DeepSeek V4.1 Flash、MiniMax M3.1 等）实测本地部署门槛：需要什么硬件、单机与集群性能差多少、何时该改用云端算力，并用与前沿模型相同的单轮编码测试评估实际可用性。
以 Kimi K3.1 为例：
- 单台 512GB Mac Studio（约 $9.5k）装不下，最小构建约 594GB
- 四台 Studio 互联（约 $38k）：约 15 tok/s
- AntSeed 云端：约 24 tok/s
Kimi K3.1 Pro 权重达 1.56TB，仅内存就需要约四台顶配 M5 Ultra Studio（约 $91k）。结论：桌面级跑开源旗舰基本不现实，云端推理性价比更优。
「Infra」频道最新
- 万小时视触觉数据集发布,机器人数据「淘金热」卖铲人排队入场 — CyberRobooo · 2026-11-10
- Stratechery：黄仁勋故事继续恶化，真正风险是治理而非国家安全 — Stratechery · 2026-11-10
- InfraRSI 用递归自我改进优化训练基建：MFU 从 17.4% 提到 30%，加速至 2.75 倍 — TokenRhythm · 2026-11-10
- ClickBench 推出在线 Playground，可同时对 110+ 数据库跑 SQL — mgill25 · 2026-11-10
- 马斯克：Grok 新训练栈源自 Starlink 工程，自研时间与报文头 — elonmusk · 2026-11-10
- 4 张 3090 换 1 张 5090?马来西亚创业者纠结 GPU 升级路线 — whity2773 · 2026-11-10