16 节点 GB10 集群跑满 2.8T 参数 Kimi K3：编码解码 30 tok/s
ciprianveg · reddit · 2026-09-21
一位开发者分享了在自建 16x GB10 集群上部署 Moonshot AI Kimi K3（2.8T 参数） 的实测：
- 编码/解码吞吐：重代码生成与 agentic 任务下持续约 30 tok/s，峰值约 38 tok/s
- Prefill 吞吐：约 750–910 tok/s，通过修改 NCCL 拓扑与双交换机布局优化
- 并发：多用户并发下不丢生成速率、不挤爆 KV cache
- 上下文：稳定支持数十万 token 上下文，多次 500k 压缩的 agentic 工作流
- 网络：双 MikroTik CRS804-4DDQ 交换机，4x 400G 转 4x 100G 分支线
- 运行时：定制 gb10-vllm 栈，使用 dspark / Inferact 的 Kimi-K3-DSPark 封装，带自研 MLA/KV kernel
全部 runtime 补丁、配置和构建脚本已开源在 GitHub（gb10-vllm）。
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12