16块GB10集群成功跑通Kimi K3，吞吐超20tps
ciprianveg · reddit · 2026-08-05
开发者成功在由 16 块 GB10 组成的集群上完整运行了 Kimi K3 模型。实测平均生成速度达 20+ TPS，峰值 38 TPS，预填充速度为 750 TPS。
作者表示这是首次使用 dspark 在该集群上跑通完整 K3 模型，后续将进行更多优化测试，并在完善后发布 vLLM 镜像和部署教程。
「Infra」频道最新
- 算力成本逆势上涨，数千 Blackwell 租金半年涨 60% — Alec_Coughlin · 2026-08-05
- 马斯克称 SpaceX 已承诺独家使用英伟达 GPU — elonmusk · 2026-08-05
- 太空 AI 数据中心有望在 2027 年落地？预测市场给出 25% 概率 — Polymarket · 2026-08-05
- 传 SpaceX 将采用英伟达芯片，打造轨道太空 AI 数据中心 — Polymarket · 2026-08-05
- vLLM 首届大会议程公布：NVIDIA、AMD、Google 等共探推理未来 — vllm_project · 2026-08-05
- vLLM 推理峰会将于 8 月举办，英伟达与 Meta 等分享路线 — vllm_project · 2026-08-05