K3 模型自托管方案：50 万美元配置实现 25 tps 推理性能
Liu_eroteme · x · 2026-07-29
针对 K3 模型（2.8T 参数）的自托管推理，作者提出一套硬件方案：
- CPU: Epyc 9556
- 内存: 16x 256GB DDR5（共 4TB）
- 成本: 约 5 万美元
- 若使用 12800MT/s MRDIMM，可达到约 25 tps 的理论上限（持续批处理约 1-200 tps）
引用 @protosphinx 指出，K3 权重约 1.4T（不含 KV 缓存），Moonshot 建议生产推理至少 64 个加速器。32x H200 集群约 120 万美元，64x 约 240 万美元，运营成本约 1.5 万美元/月。
所属事件:Kimi K3 跑通 80 张 RTX 5090，消费级 GPU 自托管方案引热议(8 条相关)→
「Infra」频道最新
- 新 scaling law 发现：部分规模下重复训练胜过改写 — burny_tech · 2026-07-29
- SK hynix 日内巨震，HBM 盈利能力继续上行 — basedjensen · 2026-07-29
- WeCommerce 用 Weaviate 做氛围搜索，商品不靠关键词也能找 — victorialslocum · 2026-07-29
- UltraEP 把 MoE 实时均衡带进小红书机架级推理栈 — 机器之心 · 2026-07-29
- Cloudera 称 45% 医疗机构仍拿不到 AI 所需全部数据 — DavidLinthicum · 2026-07-29
- 用 grammar 约束，本地模型终于不再把 JSON 写坏 — paulqq · 2026-07-29